python - 在 EMR 上的 MRJob 中导入模块

Question

简单的问题：我有一个模块 headers.py，它定义了我在主 MRJob 脚本中需要的几个变量。我应该能够用

python MRMyJob -r emr --file=headers.py s3://input/data/path

然后在我的 MRJob 脚本（MRMyJob）中，以下应该可以工作：

from headers import header1, header2, header3

正确的？从 mrjob --help 页面：“--file=UPLOAD_FILES 将文件复制到此脚本的工作目录。您可以多次使用 --file。”

当我尝试导入它时，我仍然得到“没有名为标题的模块”。

Answer 1

headers.py显然没有放在你的遥控器里PYTHONPATH。请参阅有关如何将其他模块添加到集群的文档；你必须先把它们放在一个压缩包中。