我有一个简单的 2 节点集群(一个主节点,两个节点集群)。我尝试使用:
python disco/util/distrfiles.py bigtxt /etc/nodes > bigtxt.chunks
分发文件(工作正常)。
我预计这意味着这些进程将产生并且仅对本地数据进行操作,但似乎它们有时会尝试访问另一台机器上的数据。
相反,我完全复制了数据目录。一切正常,直到减少部分。我收到错误:
CommError: Unable to access resource (http://host:8989/host/8b/sup@4f6:d2f6:34b3b/map-index.txt):
似乎该项目预计将通过 http 直接访问。但我不认为这是正确的。文件应该通过http来回传递吗?我必须有一个用于多节点 MapReduce 的分布式 FS 吗?