hadoop - Hadoop 中的客户分区

Question

我有一个文件，其中有类似的记录chicken 10。我想根据 而不是对数据进行分区，/t以便我可以将chicken其作为我的键和10我的价值。

我认为我们需要改变getPartition方法，但我无法正确地做到这一点。

有没有人有这方面的例子？

Answer 1

在 Streaming 中，map 函数从 STDIO 读取一行，并由 map 函数（用户代码）来处理它。这是 Python 地图函数的示例代码

import re
import sys
for line in sys.stdin:
    val = line.strip()
    (year, temp, q) = (val[15:19], val[87:92], val[92:93])
    if (temp != "+9999" and re.match("[01459]", q)):
        print "%s\t%s" % (year, temp)