hadoop-streaming - 运行 MapReduce 时如何通过命令行传递外部 jar？

Question

我在 Python MapReduce 程序中使用 nltk 并使用以下命令来执行它。

我发现我无法将 nltk 与命令一起正确传递。谁能让我知道正确的语法是什么？谢谢。

Answer 1

让我尝试提供一个答案。如果它不适合你，请回复我。

也许您可以尝试以下方法。因为，您已经在使用传递 Mapper.py 的选项，如果您需要类路径中的 nltk.jar 中的类，则-file应该只使用 -mapper Mapper.py 并尝试使用-libjars而不是。-archives

hadoop jar /usr/lib/gphd/hadoop-mapreduce-2.0.2_alpha_gphd_2_0_1_0/hadoop-streaming-2.0.2-alpha-gphd-2.0.1.0.jar \
-libjars senti-data/nltk.jar \
-file senti-data/traintweets.csv \
-file senti-data/stopwords.txt \
-file /home/cduser/senti-data/Mapper.py \
-mapper Mapper.py \
-input senti-data/inputtweets.txt \
-output output