在我的 Beam 工作流程中，我将每日数据从 API 端点提取到我的数据库中，在此过程中，我使用CoGroupByKey.
现在，如果我的主表中的键与事实表不匹配，即我看到一个新对象的每日数据，我如何获得所有这些不匹配键的列表/PCollection，以便我可以获取新的“事实” " 对于不匹配的键？
问问题
87 次
1 回答
0
在CoGroupByKey每个元素的外面是一个CoGbkResult。
在CoGbkResult每个键中，主表中的元素都有一个可迭代的，事实表中的元素也是可迭代的。如果事实表中的可迭代对象为空，则没有匹配项。
您可能会发现使用 Beam 模式和CoGroup转换更加容易。
于 2021-02-18T17:09:47.063 回答