hadoop - 如何优化 pig 中的大表读取和外连接

Question

我要加入一张大桌子和另外 3 张桌子，

A = 通过 (f1,f2) RIGHT OUTER 连接小表，通过 (f1,f2) 连接大表；

B = 通过 (f3) RIGHT OUTER 加入 AnotherSmall ， A 通过 (f3) ；

C = 通过 (f4) 加入 AnotherSmall ， B 通过 (f4) ；

小表可能不适合内存，但这会强制十亿个对象读取三次且耗时，我想知道是否有任何方法可以避免重读并提高处理效率？

提前致谢。

Answer 1

如果您将 HBase 中的大表设计为具有三个列族，即拆分f1和f2，从f3和 from f4，您应该能够避免不必要的读取。

此外，如果您考虑一下，您不会重新阅读，而是阅读记录的不同部分：首先是f1和f2，然后是f3最后f4。