java - 每个 HBase 表一个 Reducer

Question

基本上，我需要将数据路由到正确的 Reducer。每个 Reducer 都将成为一个 TableReducer。

我有以下文件

venodor1, user1, xxxx=n venodor1, user1, xxxx=n venodor2, user2, xxxx=n venodor2, user2, xxxx=n

我需要将其插入以下 hbase 表中

表 vendor1: [user1] => {data:xxxx = n} [user2] => {data:xxxx = n}

表 vendor2: [user1] => {data:xxxx = n} [user2] => {data:xxxx = n}

格式为 [ROW_ID] => {[FAMILY]:[COLUMN] = [VALUE]}

• 每个供应商都有不同的 hbase 表
• 行需要根据行中的值转到不同的 hbase 表。

有没有办法做到这一点 ？与级联？还有其他解决方法吗？

谢谢，费德里科

Answer 1

我找到了方法......让减速器处理表格。不要使用 TableReducer，只需使用 Reducer。在设置加载表（表应该是属性）时，将自动刷新设置为 false 并设置缓冲区大小。在清理所有表上的 flushCommit() 时。对于 Key 和 Value，Reducer 的输出应该是 NullWritable（除非你确实想输出一些东西）。在减少只是做 table1.put tabe2.put 等

TableReducer 实现它正在为一张桌子做这样的事情。