0

我已经使用以下教程在我的 os x 本地机器上设置了 hadoop - http://blogs.msdn.com/b/brandonwerner/archive/2011/11/13/how-to-set-up-hadoop-on- os-x-lion-10-7.aspx

我运行了字数统计示例,一切正常。现在,我想使用 python 编写 map reduce 作业并在我的本地 hadoop 实现上运行它。我正在尝试开源“mrjob”框架。我能够在本地运行他们的字数统计示例作业,但是当我像这样在 hadoop 实现上尝试时 -

$python mrjob/examples/mr_word_freq_count.py README.rst -r hadoop > counts

我收到一条错误消息,提示 $HADOOP_HOME 未设置,它必须显式传递。我编辑了 .bash_profile 文件,当我从终端回显 $HADOOP_HOME 时,我得到 '/usr/local/hadoop'

我在 hadoop 上找不到 mrjob 框架的好文档。我只需要开始,这样我就可以在 mrjob 中运行示例字数统计作业。

任何帮助将不胜感激。

4

1 回答 1

0

我是维护者之一。下次遇到此类问题时,您应该在 Github 上开一张票。我们根本不看 Stack Overflow。

与框架的其他部分相比,Hadoop 运行器获得的喜爱较少,但我们正在修复一个听起来与下一个版本 v0.3.5 相关的问题:https ://github.com/Yelp/mrjob/issues/482

请向 Github 发送更多错误报告。

于 2012-07-20T21:38:01.277 回答