1

是否有计划让 Cloud Dataflow 将数据写入 Cloud Bigtable？甚至可能吗？

添加一个自定义Sink来处理 IO 可能是一个干净的选择。

作为一种解决方法，我尝试在一个简单的DoFn. 在步骤中打开连接和表并在 中startBundle关闭它们finishBundle。

此外，我添加bigtable-hbase jar (0.1.5)到类路径和修改后的版本hbase-site.xml到被拾取的资源文件夹。

在云中运行时，出现NPN/ALPN extensions not installed异常。

在本地运行时，我收到一个异常，指出ComputeEngineCredentials cannot find the metadata server.尽管已将 设置GOOGLE_APPLICATION_CREDENTIALS为生成的 json 密钥文件。

任何帮助将不胜感激。

4

2 回答 2

4

我们现在有一个 Cloud Bigtable / Dataflow 连接器。您可以在以下位置查看更多信息：https ://cloud.google.com/bigtable/docs/dataflow-hbase

于 2015-08-31T21:46:13.923 回答
0

Cloud BigTable 需要 NPN/ALPN 网络 jar。目前尚未在 Dataflow 工作人员上安装此功能。所以直接从 ParDo 访问 Cloud BigTable 是行不通的。

一种可能的解决方法是使用 HBase REST API 设置 REST 服务器以访问 Dataflow 外部 VM 上的 Cloud Bigtable。这些说明可能会有所帮助。

然后，您可以向该 REST 服务器发出 REST 请求。如果您发送大量请求（即处理大量数据并需要设置 REST 服务器的多个实例并在它们之间进行负载平衡），这可能会有些复杂。

于 2015-06-09T21:05:07.427 回答