python - Reducer 通过 sys.stdin 获取多个键？

Question

我知道与 Key 关联的所有值都发送到单个 Reducer。Reducer 是否可以通过其标准输入一次获取多个键？

我的用例是将行拆分为键值对，然后我想将与键关联的所有行发送到 API。我看到多个密钥一次发送到 API 中。

这是我的工作正在运行的一些示例代码

映射器

def main():
    for line in sys.stdin
        part1 = get_part1(line)
        part2 = get_part2(line)
        key = '%s - %s' % (part1, part2)
        print '%s\t%s' % (key, line)

减速器

def main():
    my_module.sent_to_api(sys.stdin)

Answer 1

虽然与单个键关联的所有值都发送到单个减速器，但该减速器可能获得的不仅仅是一个键，因此每个输出文件中都会出现多个键。