1

我正在尝试通过三个步骤来实现一个 mapreduce 作业,并且在每个步骤之后,我需要到目前为止所有步骤中的数据。有没有人有关于如何将映射器或减速器的结果保存到mrjob中的磁盘的示例/想法?

4

1 回答 1

1

您可以将多个输入传递给一个作业,只需将前一个作业的输出作为输入。

当您说您想将结果保存到磁盘时,听起来您依赖于将输出流式传输回标准输出?这种行为只是一种方便(并且可以关闭),MRJob 一切都会从磁盘反弹。

对于一个两阶段的工作,你可以这样做:

job1 = firstMR(['-r', mode, inputDir, '-o', outputDir, '--no-output']) 
job1.set_up_logging()
with job1.make_runner() as runner1: 
    runner1.run() 
    firstOutput = runner1.get_output_dir()

job2 = secondMR(['-r', mode, firstOutput, anyOtherInput, '-o', finalOutputDir, '--no-output']) 
job2.set_up_logging()
with job2.make_runner() as runner2: 
    runner2.run() 

需要注意的事项:

  • 在 hadoop 上运行,所有目录可能应该是 hdfs://some/path/
  • MapReduce 的任何不是标志且前面没有选项的参数都被视为输入文件或目录
  • 使用 --no-output 停止输出返回到标准输出(我在上面的第一步中使用了它,您可能不想要中间结果,但在第二步中将其省略以展示差异)。在您需要三个步骤的情况下,您可以在前两个步骤中省略它,在第三个步骤中保留它。或者,将第三步的输出写入您可以轻松读取的文件夹。

如果您遇到任何障碍,请告诉我,它应该相对直截了当。

于 2013-02-17T23:42:52.250 回答