我正在尝试通过三个步骤来实现一个 mapreduce 作业,并且在每个步骤之后,我需要到目前为止所有步骤中的数据。有没有人有关于如何将映射器或减速器的结果保存到mrjob中的磁盘的示例/想法?
问问题
1169 次
1 回答
1
您可以将多个输入传递给一个作业,只需将前一个作业的输出作为输入。
当您说您想将结果保存到磁盘时,听起来您依赖于将输出流式传输回标准输出?这种行为只是一种方便(并且可以关闭),MRJob 一切都会从磁盘反弹。
对于一个两阶段的工作,你可以这样做:
job1 = firstMR(['-r', mode, inputDir, '-o', outputDir, '--no-output'])
job1.set_up_logging()
with job1.make_runner() as runner1:
runner1.run()
firstOutput = runner1.get_output_dir()
job2 = secondMR(['-r', mode, firstOutput, anyOtherInput, '-o', finalOutputDir, '--no-output'])
job2.set_up_logging()
with job2.make_runner() as runner2:
runner2.run()
需要注意的事项:
- 在 hadoop 上运行,所有目录可能应该是 hdfs://some/path/
- MapReduce 的任何不是标志且前面没有选项的参数都被视为输入文件或目录
- 使用 --no-output 停止输出返回到标准输出(我在上面的第一步中使用了它,您可能不想要中间结果,但在第二步中将其省略以展示差异)。在您需要三个步骤的情况下,您可以在前两个步骤中省略它,在第三个步骤中保留它。或者,将第三步的输出写入您可以轻松读取的文件夹。
如果您遇到任何障碍,请告诉我,它应该相对直截了当。
于 2013-02-17T23:42:52.250 回答