0

我是 map-reduce 工作的新手。可能是一些基本问题，但现有文档对我没有帮助。如何使用 luigi 运行 mapreduce 作业。例如 wordcount_hadoop.py 我需要传递哪些参数才能开始工作

python examples/wordcount_hadoop.py --date-interval 2012-06-01

输出：

usage: wordcount_hadoop.py [-h] [--scheduler-port SCHEDULER_PORT] [--lock]
                           [--workers WORKERS] [--lock-pid-dir LOCK_PID_DIR]
                           [--scheduler-host SCHEDULER_HOST]
                           [--local-scheduler] [--pool POOL]
                                                    {BaseHadoopJobTask,EnvironmentParamsContainer,JobTask,Task,WordCount,WrapperTask}                           ...
wordcount_hadoop.py: error: argument {BaseHadoopJobTask,EnvironmentParamsContainer,JobTask,Task,WordCount,WrapperTask}: invalid choice: '2012-07' (choose from 'JobTask', 'Task', 'WrapperTask', 'WordCount', 'EnvironmentParamsContainer', 'BaseHadoopJobTask')
4

1 回答 1

3

您需要在命令中传入任务名称。

例如：

python examples/wordcount_hadoop.py WordCount --date-interval 2012-06-01

于 2013-10-17T06:36:25.443 回答