这种差异在周末出现在我身上,当时我试图hftp
通过做
hadoop distcp hftp-path-src hftp-path-dst
hftp
网址类似于hftp://node:50070/more/path
在某些文件上,它中途失败了。日志说
未处理的内部错误。顶点失败,vertexName=scope-152 ...
我手动检查了这些文件,没有发现任何可疑之处。我还尝试了以下愚蠢的Pig
脚本,看看它是否会让我感到惊讶
data = LOAD '$src_hftp' USING PigStorage('\t', '-schema');
STORE data INTO '$dst_hftp' USING PigStorage('\t', '-schema');
, 消息惨遭失败
“...由于 VERTEX_FAILURE,DAG 未成功”
现在怎么样
hadoop distcp hdfs-path-src hdfs-path-dst
hdfs-path
像hdfs://namenode:8020/more/path
. _
它工作得很好。什么?为什么?
非常感谢提前。
============================================
为了回应@rahulbmv的回答,我确实尝试过
hadoop distcp hftp-path-src hdfs-path-dst
中途也失败了,我可以看到dst
HDFS 上的一些传输文件,其他文件丢失。所以我认为这无关紧要。我提到的参考是http://www.cloudera.com/documentation/archive/cdh/4-x/4-7-1/CDH4-Installation-Guide/cdh4ig_topic_7_2.html。
我也尝试登录到dst
namenode服务器并做
hadoop distcp hftp-path-src normal-path-without-hdfs-or-hftp
发生了同样的错误。
但是,是的,写端口应该使用hdfs
协议。通过使用hdfs
协议,错误仍然存在。在@rahulbmv 指出之后,唯一的区别实际上是读者使用的协议。今天晚些时候我会回去挖掘错误消息。