apache-crunch - 在紧缩中迭代 PTable

Question

我有以下 PTables，

PTable<String, String> somePTable1 = somePCollection1.parallelDo(new SomeClass(),
    Writables.tableOf(Writables.strings(), Writables.strings()));

PTable<String, Collection<String>> somePTable2 = somePTable1.collectValues();

对于上面描述的 somePTable2，我想为 somePTable2 中的每条记录创建一个新文件，有没有办法迭代 somePTable2 以便我可以访问记录。我知道我可以在 somePTable2 上应用 DoFn，但是是否可以应用DoFn 中的 pipeline.write() 操作？

Answer 1

试试这个来存储你的列表

somePTable2.values().write()

如果要为 PTable 中集合中的每个元素生成一条记录，则需要在写入之前应用 DoFn 并为集合中的每个元素发出一条记录。