r - R-Hadoop mapreduce 中是否有任何方法，类似于 Java mapreduce 中的 setup() 和 cleanup()？

Question

R-Hadoop mapreduce 中是否有任何方法，类似于 Java mapreduce 中的 setup() 和 cleanup()？在所有减速器启动之前，我必须只运行一次部分代码，例如 db 调用。使用 R 编写 mapreduce 代码时是否有任何规定？

Answer 1

如果您在谈论 rmr2，则没有。如果您详细说明了您的用例，即使我失败了，我也可以尝试考虑替代方案或学习一些东西。我假设这种 DB 访问需要在 map 和 reduce 之间发生，但重要的是要了解 DB 操作是否取决于 map 阶段的输出以及 reduce 阶段是否取决于 DB 操作的结果。根据我的经验，这是一个非常独特的要求，在我看来，您必须通过两项工作来解决它，一项仅地图，一项仅减少。