我正在使用以下命令从一个 hadoop 集群(版本 0.20.2)到另一个 hadoop 集群(版本 2.2.0)进行 distcp。
hadoop distcp -update -skipcrccheck
"hftp://x.x.x.x:50070//hive/warehouse//staging_eventlog_arpu_comma"
"hdfs://y.y.y.y:9000//hive/warehouse/staging_eventlog_arpu_comma"
所以带宽利用率应该是源到目的地。但与源到目的地相比,从目的地到源的网络利用率更多。
hadoop distcp -bandwidth 指定:
Each map will be restricted to consume only the specified bandwidth.
This is not always exact.
The map throttles back its bandwidth consumption during a copy,
such that the net bandwidth used tends towards the specified value.
那么它会阻止什么。?