python - Hadoop mapreduce python command line arguments

Question

In my python mapper code, I need to access the 'path' given in -input 'path'. How is it possible to access this in python code?

Answer 1

您可以从os.environ. 例如，

import os
input_file = os.environ['map_input_file']

实际上，您也可以从os.environ. 注意：在流式作业执行期间，“mapred”参数的名称会被转换。点 (.) 变为下划线 (_)。例如，mapred.job.id 变为 mapred_job_id，mapred.jar 变为 mapred_jar。要获取流式作业的映射器/缩减器中的值，请使用带下划线的参数名称。请参阅配置的参数。

我还为您找到了一篇非常有用的帖子：A Guide to Python Frameworks for Hadoop。