1

我正在使用 wordcount 示例在笔记本电脑上学习/测试 mrjobs。

我能够在命令模式下提供一个本地文件作为输入，但不知道如何在 python 脚本中做同样的事情。

非常感谢一个简单的例子。

谢谢阿南特

4

1 回答 1

0

不太明白你在问什么，但我想你正在寻找这样的东西

[root@localhost code]# cat mr_example.py 

from mrjob.job import MRJob

class MRWordFrequencyCount(MRJob):

    def mapper(self, _, line):
        yield "chars", len(line)
        yield "words", len(line.split())
        yield "lines", 1

    def reducer(self, key, values):
        yield key, sum(values)

if __name__ == '__main__':
    MRWordFrequencyCount.run()

[root@localhost code]# cat test_file 
aaaa
dd dx csadsad
2321 dasdtokcmk
mii xsa
xaaaa
casd

[root@localhost code]# python mr_example.py test_file
...
"chars" 50
"lines" 6
"words" 10
于 2013-11-14T06:42:35.773 回答