问题标签 [google-cloud-bigtable]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
93 浏览

google-cloud-bigtable - 整个 Bigtable 集群与客户端吞吐量

我注意到,当我对谷歌云 Bigtable 运行测试时,客户端机器上的整个图表显示的数字与 Bigtable 图表上的数字大不相同。例如,现在我正在运行测试,我看到 Bigtable 读取带宽图显示大约 25MB-30MB/秒,而在同一区域中运行的 GCE 客户端机器显示网络字节为 5K/秒。只有一个客户端针对 Bigtable 运行,这是一个相当适中的顺序读写 Bigtable 流。我想知道为什么数字会有如此巨大的差异,如果这是预期的行为,Bigtable 图表显示的高读取带宽如何影响整体集群性能?我担心的是集群资源可能会被几个客户端很快耗尽,每个客户端都做的很少。

0 投票
1 回答
458 浏览

python - 使用 gcloud-python 连接到 google bigtable 时出现未经身份验证的错误

我在我的项目中设置了一个 Google Cloud BigTable 集群。该项目的主要代码库在标准 Python App Engine 环境中运行,由于依赖 grpcio,因此无法使用 gcloud-python 库。为了解决这个问题,我在同一个项目中设置了一个 Python App Engine 灵活环境服务,并编写了一个非常简单的 Flask 服务器来运行它,然后我可以从我的标准环境中访问它。代码看起来像这样:

我可以在本地运行此代码,并且效果很好。我可以将它部署到我的服务中,并且它继续运行良好。但是,如果服务闲置了一段时间(我通常会在大约一个小时后注意到它),那么我发出的每个请求都会开始失败并出现以下错误:

如果我重新部署该服务,它会再次开始工作。当我在本地运行服务时,我没有观察到这种行为。

我究竟做错了什么?我假设我在客户端设置中犯了一些错误,它没有正确使用应用程序引擎凭据。遇到此错误时是否需要终止客户端并重新启动它?

0 投票
1 回答
297 浏览

postgresql - 如何使用外部 url 用数据填充谷歌大表实例?

我有一个谷歌大表实例,需要用 Postgres 数据库中的数据填充。我的产品团队提供了一个 URL,允许我复制数据库。所以使用简单的话我需要将 Postgres 数据库复制到谷歌实例中,我的产品团队给我的方式是使用这个 url,我该怎么做?任何可以帮助我的教程?

0 投票
2 回答
1333 浏览

java - 如何解决“Jetty ALPN 和 OpenSSL via netty-tcnative 均未正确配置”?

我正在尝试创建一个 Dataflow 作业以便在 BigTable 中插入行,但是当我在本地测试 Dataflow 作业时,我收到以下错误:

您可以在下面找到我的主要代码:

另一种尝试是使用以下代码:

但我得到了同样的错误。

难道我做错了什么?

编辑:

完整错误:

pom.xml:

0 投票
1 回答
519 浏览

java - 无法从数据流中的 bigtable 读取

我在工作中使用数据流将一些数据写入大表。
目前,我的任务是从大表中读取行。
但是,每当我尝试使用 bigtable-hbase-dataflow 从 bigtable 读取行时,它都会失败并抱怨如下。

我现在使用 'com.google.cloud.dataflow:google-cloud-dataflow-java-sdk-all:1.6.0' 和 'com.google.cloud.bigtable:bigtable-hbase-dataflow:0.9.0'。

这是我的代码。

仅供参考,我只是从 bigtable 中读取数据,并在 Test DoFn 中使用聚合器计算行数。

我只是按照有关数据流文档的教程进行操作,但失败了。谁能帮我吗?

0 投票
2 回答
2600 浏览

google-cloud-bigtable - Google Cloud Bigtable:查询部分键

因此,如果我在 Bigtable 中有以下数据:

如何查询 SFO* 记录?我阅读了文档;我知道如何获得单行;类似的东西:

或者如何获取范围;类似getRows("SFO_8686", "SFO _8687")which 接受startKeyand的东西endKey,但我在文档中阅读并相信可以获取以前缀开头的记录;SFO* 示例。我怎么做?

0 投票
1 回答
1771 浏览

java - 使用前缀键删除行范围

我正在使用包 'org.apache.hadoop.hbase.client' 进行数据流来管理 Google 的 BigTable 数据。

删除行的示例:

这很好用,但我需要一种方法来删除所有以它们的键 'PROV|CLI|800|' 开头的行

有没有办法做到这一点?

0 投票
2 回答
3031 浏览

java - 如何从 java 连接到正在运行的 bigtable 模拟器

我正在尝试使用 gcloud beta 模拟器中的 bigtable 模拟器。我启动模拟器,获取主机名(localhost)和端口(在本例中为 8885)

gcloud beta 模拟器 bigtable 开始

执行:/usr/local/Caskroom/google-cloud-sdk/latest/google-cloud-sdk/platform/bigtable-emulator/cbtemulator --host=localhost --port=8885

我正在尝试从 java 测试客户端连接到模拟器,这是我提供的:

当我执行测试代码时,我得到:

我正在使用图书馆:com.google.cloud.bigtable:bigtable-hbase-1.2:0.9.1

知道我做错了什么吗?

谢谢 !

0 投票
1 回答
284 浏览

java - Google Cloud Bigtable 模拟器似乎删除了列族

我正在尝试创建一个具有单列族的表(针对使用 Java 客户端库 0.9.1 的 Google Cloud Bigtable 模拟器)。

我的问题是创建表后,检索到的描述符从不包含EOD家庭;因此,任何在该列族中存储数据的调用都会失败。

我错过了什么还是模拟器的限制?

0 投票
2 回答
2837 浏览

google-bigquery - 如何从 Google BigQuery 将数据加载到 Google Cloud Bigtable

我需要将数据填充到 Google Cloud Bigtable 中,数据源将是 Google BigQuery。

作为一个练习,我能够从 BigQuery 读取数据,作为一个单独的练习,我也能够将数据写入 Bigtable

现在我必须将这 2 个操作合并到一个 Google Cloud Dataflow 作业中。任何例子都会有很大帮助。