python - 对存储在 Discodex 中的数据运行 Disco map-reduce 作业

Question

我有大量需要提供随机访问的静态数据。因为，我使用 Disco 来消化它，所以我在 Disco 分布式文件系统之上使用了非常令人印象深刻的 Discodex（键、值）存储。但是，Disco 的文档相当稀疏，所以我不知道如何使用我的 Discodex 索引作为 Disco 作业的输入。

这甚至可能吗？如果是这样，我该怎么做？

或者，我想错了？将这些数据作为文本文件存储在 DDFS 上会更好吗？

score 0 · Accepted Answer

没关系，看来我正在做的事情并不是真的要去做。这可能是可能的，但仅使用语义 DDFS 标记来引用数据块会好得多。

Discodex 的正确用例是存储由 Disco map-reduce 程序构造的索引，该索引不需要是另一个 map-reduce 程序的输入。

score 0 · Accepted Answer

您还可以使用 DiscoDB 存储一个作业的输出，然后将其用作另一个作业的输入。DiscoDB 教程有一个很好的例子。

2 回答 2