问题标签 [google-cloud-bigtable]

是否有计划让 Cloud Dataflow 将数据写入 Cloud Bigtable？甚至可能吗？

添加一个自定义Sink来处理 IO 可能是一个干净的选择。

作为一种解决方法，我尝试在一个简单的DoFn. 在步骤中打开连接和表并在 中startBundle关闭它们finishBundle。

此外，我添加bigtable-hbase jar (0.1.5)到类路径和修改后的版本hbase-site.xml到被拾取的资源文件夹。

在云中运行时，出现NPN/ALPN extensions not installed异常。

在本地运行时，我收到一个异常，指出ComputeEngineCredentials cannot find the metadata server.尽管已将 设置GOOGLE_APPLICATION_CREDENTIALS为生成的 json 密钥文件。

任何帮助将不胜感激。

我正在尝试构建一些过滤器来过滤来自 Bigtable 的数据。我正在使用bigtable-hbase驱动程序和 HBase 驱动程序。实际上，这是我的依赖项pom.xml：

我正在过滤这样的数据：

这工作正常。但后来我在前面的代码中添加了以下内容：

它给了我这个例外：

所以我的问题是如何过滤长数据类型？是 hbase 问题还是 bigtable 问题？

我发现这个How do you use a custom comparison with SingleColumnValueFilter on HBase? 但我无法将我的罐子加载到服务器上，所以它不适用于我的情况。

我希望 Google 的某个人就Cloud Bigtable服务提供的持久性和可用性保证提供一些指导。

到目前为止，这是我的理解：

• 最小集群需要 3 个节点这一事实表明，至少在一个区域内，数据是高度持久的，并且可以复制到 3 个节点。

• 然而，谷歌员工的这个回答指出“Cloud Bigtable 不会复制数据”——这与Cloud Bigtable 主页上声称它“使用复制的存储策略构建”的引述直接矛盾。那么它是哪一个？是复制还是不复制？如果是这样，保留多少份？

• 只能在特定区域内设置集群这一事实表明，集群的可用性与该区域的可用性直接相关。那么如果我想拥有一个高可用的基于 Bigtable 的数据存储，最好是跨多个区域设置独立集群并自己处理跨集群的写入同步吗？

没有关于跨区域的 Bigtable 集群是否独立的信息。如果我要跨多个区域设置集群，并且一个区域出现故障，我们是否可以期望其他区域中的集群继续工作？或者是否存在一些潜在的单点故障，甚至可能影响跨区域的集群？

与对这些细节非常具体的 App Engine 数据存储区相比，Cloud Bigtable 文档相当缺乏——或者，至少，我还没有找到一个详细介绍这些方面的页面。

Cloud Bigtable 文档在其他方面同样含糊不清，例如在值的大小限制问题上，文档指出单个值应保持在“每个单元格约 10 MB”以下。“~10 MB”到底是什么意思？！我可以硬编码一个正好为 10MB 的限制并期望它始终有效，还是会根据未知因素每天发生变化？

无论如何，如果我听起来很激动，请道歉。我真的很想使用 Bigtable 服务。但我可能和其他许多人一样，需要先了解它的耐用性/可用性方面，然后才能对其进行投资。谢谢你。

我正在使用 Go 客户端在 3 节点集群上测试一些 BigTable 查询，例如：

我在几毫秒内得到结果：

如您所见，第一个查询存在明显的设置连接延迟。任何人都可以提供反馈，这是否是一个可接受的值？查询源自与 BigTable 集群位于同一区域 (europe-west1-c) 中的 GCE VM。

此外，在 App Engine 上运行时，是否计划支持将 BigTable 连接池化？

我正在研究 BigTable 如何压缩我的数据。

我已将 1,5GB 加载到 1 个表中；大约 500k 行包含 1 列，平均每个单元格包含大约 3kb。在进一步的测试中，更多的列将被添加到这些包含相似大小的相似数据的行中。

每个单元格中的数据当前是一个 JSON 序列化的字典数组 [10 elems on avg]，例如：

BigTable 控制台向我显示集群拥有 1,2GB。因此，它将我插入的 1.5GB 压缩到原始大小的大约 80%。压缩一个典型的字符串，因为它们存储在单元格中，但是给我一个大约 20% 的压缩率。

因此，BigTable 的这种压缩性能对我来说似乎很低，因为我插入的数据包含很多重复值（例如字典键）。我了解 BigTable 以压缩换取速度，但我希望它在我的数据上表现更好。

对于上述数据，80% 的压缩率是否可以，或者是否可以预期较低的值？除了重塑我上传的数据之外，是否有任何技术可以提高压缩率？

谢谢！

我使用 hive 生成​​了一个序列文件并尝试将其导入 bigtable，我的导入作业失败并出现以下错误。

我正在使用下面的配置单元表定义和参数来生成序列文件。

下面是 hbase 创建表语句

看来我无法从 AppEngine 上运行的 Java 类创建连接。

我使用以下库/依赖项：

以及以下代码行：

该ConnectionFactory.createConnection()方法似乎试图使用受限类。

您能帮我们解释一下如何在 GAE 上使用它吗？

在 devserver 上本地运行时出现以下错误：

遵循以下链接中概述的步骤后，我可以启动 hbase shell，但是所有这些 hbase 命令都会抛出；错误：未安装 NPN/ALPN 扩展 https://cloud.google.com/bigtable/docs/installing-hbase-client

我有 1.7.0_60-b19 的 java 版本，我使用了 ALPN 7.1.0.v20141016

我错过了什么？

提前感谢您的帮助

试图让那个简单的 cli 示例在我的本地机器上运行。它编译得很好，但是即使在 hbase-site.xml 上看起来一切都正确，它也会引发以下错误；

这意味着我们无法从本地访问hbase？

尝试通过 Java lib 与 Google Cloud Bigtable 交互，并在成功创建连接对象后，发送“list”命令，我收到以下command.run()方法错误：

具体来说：

只是跟随; https://cloud.google.com/bigtable/docs/samples-simple-cli

任何帮助将不胜感激！