问题标签 [google-cloud-bigtable]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
google-cloud-bigtable - 整个 Bigtable 集群与客户端吞吐量
我注意到,当我对谷歌云 Bigtable 运行测试时,客户端机器上的整个图表显示的数字与 Bigtable 图表上的数字大不相同。例如,现在我正在运行测试,我看到 Bigtable 读取带宽图显示大约 25MB-30MB/秒,而在同一区域中运行的 GCE 客户端机器显示网络字节为 5K/秒。只有一个客户端针对 Bigtable 运行,这是一个相当适中的顺序读写 Bigtable 流。我想知道为什么数字会有如此巨大的差异,如果这是预期的行为,Bigtable 图表显示的高读取带宽如何影响整体集群性能?我担心的是集群资源可能会被几个客户端很快耗尽,每个客户端都做的很少。
python - 使用 gcloud-python 连接到 google bigtable 时出现未经身份验证的错误
我在我的项目中设置了一个 Google Cloud BigTable 集群。该项目的主要代码库在标准 Python App Engine 环境中运行,由于依赖 grpcio,因此无法使用 gcloud-python 库。为了解决这个问题,我在同一个项目中设置了一个 Python App Engine 灵活环境服务,并编写了一个非常简单的 Flask 服务器来运行它,然后我可以从我的标准环境中访问它。代码看起来像这样:
我可以在本地运行此代码,并且效果很好。我可以将它部署到我的服务中,并且它继续运行良好。但是,如果服务闲置了一段时间(我通常会在大约一个小时后注意到它),那么我发出的每个请求都会开始失败并出现以下错误:
如果我重新部署该服务,它会再次开始工作。当我在本地运行服务时,我没有观察到这种行为。
我究竟做错了什么?我假设我在客户端设置中犯了一些错误,它没有正确使用应用程序引擎凭据。遇到此错误时是否需要终止客户端并重新启动它?
postgresql - 如何使用外部 url 用数据填充谷歌大表实例?
我有一个谷歌大表实例,需要用 Postgres 数据库中的数据填充。我的产品团队提供了一个 URL,允许我复制数据库。所以使用简单的话我需要将 Postgres 数据库复制到谷歌实例中,我的产品团队给我的方式是使用这个 url,我该怎么做?任何可以帮助我的教程?
java - 如何解决“Jetty ALPN 和 OpenSSL via netty-tcnative 均未正确配置”?
我正在尝试创建一个 Dataflow 作业以便在 BigTable 中插入行,但是当我在本地测试 Dataflow 作业时,我收到以下错误:
您可以在下面找到我的主要代码:
另一种尝试是使用以下代码:
但我得到了同样的错误。
难道我做错了什么?
编辑:
完整错误:
pom.xml:
java - 无法从数据流中的 bigtable 读取
我在工作中使用数据流将一些数据写入大表。
目前,我的任务是从大表中读取行。
但是,每当我尝试使用 bigtable-hbase-dataflow 从 bigtable 读取行时,它都会失败并抱怨如下。
我现在使用 'com.google.cloud.dataflow:google-cloud-dataflow-java-sdk-all:1.6.0' 和 'com.google.cloud.bigtable:bigtable-hbase-dataflow:0.9.0'。
这是我的代码。
仅供参考,我只是从 bigtable 中读取数据,并在 Test DoFn 中使用聚合器计算行数。
我只是按照有关数据流文档的教程进行操作,但失败了。谁能帮我吗?
google-cloud-bigtable - Google Cloud Bigtable:查询部分键
因此,如果我在 Bigtable 中有以下数据:
如何查询 SFO* 记录?我阅读了文档;我知道如何获得单行;类似的东西:
或者如何获取范围;类似getRows("SFO_8686", "SFO _8687")
which 接受startKey
and的东西endKey
,但我在文档中阅读并相信可以获取以前缀开头的记录;SFO* 示例。我怎么做?
java - 使用前缀键删除行范围
我正在使用包 'org.apache.hadoop.hbase.client' 进行数据流来管理 Google 的 BigTable 数据。
删除行的示例:
这很好用,但我需要一种方法来删除所有以它们的键 'PROV|CLI|800|' 开头的行
有没有办法做到这一点?
java - 如何从 java 连接到正在运行的 bigtable 模拟器
我正在尝试使用 gcloud beta 模拟器中的 bigtable 模拟器。我启动模拟器,获取主机名(localhost)和端口(在本例中为 8885)
gcloud beta 模拟器 bigtable 开始
执行:/usr/local/Caskroom/google-cloud-sdk/latest/google-cloud-sdk/platform/bigtable-emulator/cbtemulator --host=localhost --port=8885
我正在尝试从 java 测试客户端连接到模拟器,这是我提供的:
当我执行测试代码时,我得到:
我正在使用图书馆:com.google.cloud.bigtable:bigtable-hbase-1.2:0.9.1
知道我做错了什么吗?
谢谢 !
java - Google Cloud Bigtable 模拟器似乎删除了列族
我正在尝试创建一个具有单列族的表(针对使用 Java 客户端库 0.9.1 的 Google Cloud Bigtable 模拟器)。
我的问题是创建表后,检索到的描述符从不包含EOD
家庭;因此,任何在该列族中存储数据的调用都会失败。
我错过了什么还是模拟器的限制?
google-bigquery - 如何从 Google BigQuery 将数据加载到 Google Cloud Bigtable
我需要将数据填充到 Google Cloud Bigtable 中,数据源将是 Google BigQuery。
作为一个练习,我能够从 BigQuery 读取数据,作为一个单独的练习,我也能够将数据写入 Bigtable。
现在我必须将这 2 个操作合并到一个 Google Cloud Dataflow 作业中。任何例子都会有很大帮助。