2

我有一个简单的 2 节点集群(一个主节点,两个节点集群)。我尝试使用:

python disco/util/distrfiles.py bigtxt /etc/nodes > bigtxt.chunks

分发文件(工作正常)。

我预计这意味着这些进程将产生并且仅对本地数据进行操作,但似乎它们有时会尝试访问另一台机器上的数据。

相反,我完全复制了数据目录。一切正常,直到减少部分。我收到错误:

CommError: Unable to access resource (http://host:8989/host/8b/sup@4f6:d2f6:34b3b/map-index.txt): 

似乎该项目预计将通过 http 直接访问。但我不认为这是正确的。文件应该通过http来回传递吗?我必须有一个用于多节点 MapReduce 的分布式 FS 吗?

4

0 回答 0