一、場景

當hdfs更換機器需要退役當前節點數據時候，通過查看namenode節點50070web服務

問題：發現正在遷移的節點數據blocks太大，一千多萬個block，大約在5T左右，速度太慢了，基本上得跑3周，20天左右才能把數據遷移完

要注意在decommisstion in progress狀態的時候來做。

方法：

界面添加自定義參數：

dfs.namenode.replication.max-streams

dfs.namenode.replication.work.multiplier.per.iteration

dfs.namenode.replication.max-streams-hard-limit 

  值要大于或者等于dfs.namenode.replication.max-streams

默認參數是2/4/2，可以修改為10/20/5

效果：

測試2w個blocks（15G左右），速度提升4-5倍

注意點：

生產環境值修改太大，會影響網絡，導致其他跑批有影響