hadoop - 如何在 Apache Crunch 中进行 Map 端完全外连接（MapsideJoinStrategy 不支持连接类型 FULL_OUTER_JOIN）

Question

嗨，我正在尝试使用 MapsideJoinStrategy 类在 crunch 中加入 mapside。内部联接工作正常，但完全外部联接出现此错误：“MapsideJoinStrategy 不支持联接类型 FULL_OUTER_JOIN”

Answer 1

MapsideJoinStrategy无法执行 RIGHT_OUTER_JOIN 等 FULL_OUTER_JOIN。这是设计上不可能的。整个工作发生在映射器中（没有减少阶段）。由于可以有多个映射器，因此无法确定右侧的哪个键在左侧没有匹配的键，因为单个映射器不会看到整个左侧数据。

对于 FULL_OUTER_JOIN 使用DefaultJoinStrategy。

我扩展了 BloomFilterJoinStrategy以支持所有连接类型。这是拉取请求@GitHub。