1

我想将文件从不安全的 HDFS 集群传输到 kerberized 集群。我正在使用 distcp 传输文件。我使用了以下命令。

hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true hdfs://<ip>:8020/<sourcedir> hdfs://<ip>:8020/<destinationdir>

在 kerberized 集群中执行上述命令后，出现以下错误。

java.io.EOFException: End of File Exception between local host is: "<xxx>"; destination host is: "<yyy>; : java.io.EOFException; For more details see:  http://wiki.apache.org/hadoop/EOFException
4

1 回答 1

2

这是错误，因为：

cluster 被阻塞进行 RPC 通信，这种情况下可以使用 webhdfs 协议，所以上面的 distcp 可以改写为

hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true hdfs://xxx:8020/src_path webhdfs://yyy:50070/target_path

这是 distcp 的非常好的博客文章

于 2017-02-15T17:01:43.127 回答