问题标签 [google-cloud-bigtable]

Google Cloud Bigtable的可用性目前仅在区域内，而不是区域内。

Cloud Bigtable 是否支持透明维护/实时迁移到区域内的另一个区域？

If not, is there any document that list best practices to integration-test an application that uses Cloud Bigtable? Specifically the applications written in Java and Python.

Ref: https://cloud.google.com/datastore/docs/tools/devserver

我无法从 Java 调用 Google Cloud Bigtable 上的任何操作。

我不断收到此错误：

这是生成此错误的测试代码：

任何人都知道什么可能会关闭连接？我没有明确关闭连接，我什至尝试将 put 操作放入 ThreadPoolExecutor 以将其与主 Controller 线程隔离，但无济于事。

我有一个相当小的数据集（5~gb，150 万行），当前存储在 Bigtable 中，并通过 HBase API（Scala）访问，目的是使用 Spark（dataproc）进行数据分析。

但是，我的预算也很紧，而且 Bigtable 的成本相当高（2~ 美元/小时），所以我最终做的是在需要时删除并重新创建 Bigtable 集群。

明显的缺点是，由于我的数据的性质，填充一个新的集群需要很长时间。它全部以 JSON 格式存储在一个大文本文件中，填充集群需要 40~ 分钟。

所以我要问的是是否有更好的方法来执行这个，比如实现某种备份/快照例程？或者根本不使用 Bigtable。我在 Google Cloud 平台中找不到任何其他 HDFS 替代品。

应该指出的是，我对 Hadoop 和大数据的世界还很陌生，所以如果我错过了显而易见的事情，请原谅我的无知。

我在网上找不到太多关于这个问题的信息，但是......

我正在谷歌云服务上建立一个新的 BigTable 集群。我已经完成了您使用大多数 Google API 的整个过程（创建服务帐户、知道您的项目 ID、使用 gcloud 工具进行身份验证、Google 环境变量集等）。

我在完成设置后遇到了问题。我收到此错误，我在网上找不到任何内容：

这是包含错误的完整打印。请注意，我在尝试创建表时也遇到了同样的错误：

如果有人可以帮助解决这个问题，那就太棒了。我不知道该怎么做，也找不到任何东西。显然它围绕身份验证，我的密钥文件是新鲜的并且在正确的位置，我运行了 gcloud auth，我不确定还有什么要检查的。

请让我知道我是否可以提供更多信息来帮助回答。

对于每 3 小时 20GB 数据文件等模式，批量加载到 Bigtable 的最佳方法是什么？数据流是正确的方式吗？

我们使用 Dataflow 批量加载 Bigtable 的问题是..

看起来 Dataflow QPS 与 Bigtable（5 个节点）的 QPS 不匹配。我正在尝试使用 Dataflow 将 20GB 文件加载到 bigtable。摄取到 bigtable 需要 4 小时。我也在运行过程中不断收到此警告..

代码：

CreatePutsFn：

非常感谢这里的任何帮助。谢谢

我正在尝试遵循Google Cloud Bigtable 教程。

我在 quickstart.sh 启动并显示提示时达到了这一点，但它挂在任何命令上。我试过list了create。

我们正在使用 Google Cloud Bigtable，使用Go 库从 GCE 实例访问它来访问它。对于某些 ReadRow 查询，我们收到以下错误：

值得注意的是，这些是一致的。换句话说，如果我们重试相同的查询（我们在两次尝试之间等待大约 15 分钟），我们（几乎？）总是再次得到相同的错误。所以它似乎不仅仅是一个暂时的错误，而是可能与正在获取的数据有关。这是我们正在运行的特定查询：

这可能只是意味着“你试图获取太多”吗？

我正在寻找一种在 Bigable 中进行身份验证的替代方法。默认方法涉及环境变量，这与我有关。

我找到了GoogleCredential课堂。它可以使用 fromStream 读取 json 密钥文件，但是如何使用GoogleCredential. 没有办法setApplicationDefault()。我需要以某种方式覆盖它。

HBase 代码对GoogleCredential.

我查看了谷歌云https://cloud.google.com/bigtable/docs/schema-design-time-series的时间序列论文以及基于 hbase 的 opentsdb 的方案设计，与 bigtable 非常相似。

opentsdb 的方案设计使用了很多技巧，将数据点和行键编码为宽行，从而使每个数据点的大小更小。但在谷歌的论文中只是建议使用窄行。

我的问题是，我能否从 opentsdb 方案设计中获得一些真正的好处，用于使用 bigtable 进行时间序列存储。而且，bigtable 的压缩真的可以帮助我消除冗余，从而使 opentsdb 模式几乎没有什么区别吗？