python - 如何在没有输入文件的情况下运行 mrjob？

Question

我有一个 mrjob 程序，只是从 sql 数据库中获取数据，所以我不需要读取本地文件或任何输入文件，但是 mrjob 强迫我“从 STDIN 读取”，所以我只是创建一个空文件作为输入文件。真的很难看，有没有办法在没有输入文件的情况下运行作业？

Answer 1

您是否尝试过将 mysql 的输出通过管道传输到 mrjob？就像是：

mysql -D database -u user < test.sql | python mrjob_script.py

Answer 2

怎么用/dev/null？它不会删除输入要求，但您不需要每次都创建一个空文件，它始终存在。

python your_mr_job.py /dev/null

Answer 3

转到此处并查找名为“文件选项”的部分。那应该让你开始。