0

这种差异在周末出现在我身上，当时我试图hftp通过做

hadoop distcp hftp-path-src hftp-path-dst

hftp网址类似于hftp://node:50070/more/path

在某些文件上，它中途失败了。日志说

未处理的内部错误。顶点失败，vertexName=scope-152 ...

我手动检查了这些文件，没有发现任何可疑之处。我还尝试了以下愚蠢的Pig脚本，看看它是否会让我感到惊讶

data = LOAD '$src_hftp' USING PigStorage('\t', '-schema');
STORE data INTO '$dst_hftp' USING PigStorage('\t', '-schema');

, 消息惨遭失败

“...由于 VERTEX_FAILURE，DAG 未成功”

现在怎么样

hadoop distcp hdfs-path-src hdfs-path-dst

hdfs-path像hdfs://namenode:8020/more/path. _

它工作得很好。什么？为什么？

非常感谢提前。

============================================

为了回应@rahulbmv的回答，我确实尝试过

hadoop distcp hftp-path-src hdfs-path-dst

中途也失败了，我可以看到dstHDFS 上的一些传输文件，其他文件丢失。所以我认为这无关紧要。我提到的参考是http://www.cloudera.com/documentation/archive/cdh/4-x/4-7-1/CDH4-Installation-Guide/cdh4ig_topic_7_2.html。

我也尝试登录到dstnamenode服务器并做

hadoop distcp hftp-path-src normal-path-without-hdfs-or-hftp

发生了同样的错误。

但是，是的，写端口应该使用hdfs协议。通过使用hdfs协议，错误仍然存​​在。在@rahulbmv 指出之后，唯一的区别实际上是读者使用的协议。今天晚些时候我会回去挖掘错误消息。

4

1 回答 1

1

hftp 是一个只读文件系统。所以你不能复制到 hftp 目的地。也就是说，你应该能够做到hadoop distcp hftp-path-src hdfs-path-dst。您可以在此处阅读有关 hftp 及其支持的操作的更多信息。

于 2016-03-17T01:10:11.110 回答