3

我正在使用以下命令从一个 hadoop 集群(版本 0.20.2)到另一个 hadoop 集群(版本 2.2.0)进行 distcp。

hadoop distcp -update -skipcrccheck
  "hftp://x.x.x.x:50070//hive/warehouse//staging_eventlog_arpu_comma" 
  "hdfs://y.y.y.y:9000//hive/warehouse/staging_eventlog_arpu_comma"

所以带宽利用率应该是源到目的地。但与源到目的地相比,从目的地到源的网络利用率更多。

hadoop distcp -bandwidth 指定:

  Each map will be restricted to consume only the specified bandwidth. 
  This is not always exact. 
  The map throttles back its bandwidth consumption during a copy, 
   such that the net bandwidth used tends towards the specified value.

那么它会阻止什么。?

4

0 回答 0