问题标签 [hbasestorage]

问问题

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

22 问题
Newest
Active
Bountied
318
Unanswered
0 投票
1 回答
544 浏览

apache-pig - 使用 HBaseStorage 通过 Dataproc 上的 Pig 从 Bigtable 加载

是否有人有使用 HBaseStorage 在 Dataproc 上通过 Pig 从 Bigtable 加载数据的经验或成功？

这是我正在尝试运行的一个非常简单的 Pig 脚本。它失败并显示一个错误，表明它找不到 BigtableConnection 类，我想知道我可能缺少什么设置才能成功从 Bigtable 加载数据。

我设置集群的步骤：

  1. 推出 Bigtable 集群（my_bt）；创建并填充 my_hbase_table
  2. 通过 cloud.google.com Cloud Dataproc 控制台启动了 Dataproc 集群 (my_dp)
  3. 按照https://cloud.google.com/bigtable/docs/installing-hbase-shell上的说明在 Dataproc 主服务器 (/opt/hbase-1.2.1) 上安装 HBase shell
  4. hbase-site.xml为 my_bt 和 BigtableConnection 类添加了属性
  5. 创建的文件t.pig包含上面列出的内容
  6. 通过命令调用 Pig：gcloud beta dataproc jobs submit pig --cluster my_dp --file t.pig --jars /opt/hbase-1.2.1/lib/bigtable/bigtable-hbase-1.2-0.9.5.1.jar
  7. 出现以下错误，指示未找到 BigtableConnection 类：

2017-03-21 15:30:48,029 [JobControl] 错误 org.apache.hadoop.hbase.mapreduce.TableInputFormat - java.io.IOException: java.lang.ClassNotFoundException: com.google.cloud.bigtable.hbase1_2.BigtableConnection

0 投票
1 回答
272 浏览

hbase - Hbase rest api 多次插入

我们计划使用 hbase rest api 对 hbase 表执行插入操作，并想知道是否有办法将多个列插入单个列族，甚至在一次调用中插入多个列族。

如果不是，因为我们计划为特定记录（行）插入大约 100+ 列，这将导致我们对单个行条目进行 100+ 次调用


12345678910