问题标签 [google-cloud-bigtable]

在本文示例：Hadoop Map/Reduce Job with Cloud Bigtable中，它在 Google Cloud 中创建了一个 Hadoop 集群并连接到 Cloud Bigtable 集群。

即使在本文中，它也使用一个Connection对象与 BigTable 集群进行通信。这是否意味着 Google 建议我们使用其定制的 HBase 客户端 API 来访问 Cloud BigTable 上的数据？

是否可以从我自己的 Hadoop 集群连接到云端 bigtable 集群？我的 Hadoop 集群位于 AWS 而不是 Google 云中。

我正在尝试将此示例部署到 Google Cloud。我正在按照确切的说明进行操作，但出现错误提示

错误：（gcloud.preview.app.deploy）没有足够的虚拟机准备好（0/1准备好，1个仍在部署）。部署版本：20150723t080450.385919969320427256

当我去云控制台 -> 应用引擎 -> 版本时，我确实看到部署了一个新版本，但版本的大小为 0，即使我等待了 30 分钟，转到模块 URL 也会返回 503 服务器错误。

PROJECT_ID除了,等之外，我没有修改示例中的任何内容CLUSTER_UNIQUE_ID。这可能是什么问题？

我正在尝试在我的应用程序引擎 servlet 中写入云 bigtable。我从https://github.com/GoogleCloudPlatform/cloud-bigtable-examples/blob/master/java/managed-vm-gae/gae-bigtable-hello/src/main/java/com.example.cloud复制了 BigTableHelper .bigtable.helloworld/BigtableHelper.java，在我的 servlet 中，我只是做了以下事情。

放置失败并出现错误。

java.io.IOException：执行操作失败。Operation='put', projectId='myprojectid', tableName='test_table', rowKey='row1' at com.google.cloud.bigtable.hbase.BigtableTable.put(BigtableTable.java:288) at ...

原因：com.google.bigtable.repackaged.com.google.common.util.concurrent.UncheckedExecutionException: io.grpc.StatusRuntimeException: UNKNOWN at io.grpc.stub.Calls.getUnchecked(Calls.java:117) at io。 grpc.stub.Calls.blockingUnaryCall(Calls.java:129) 在 com.google.cloud.bigtable.grpc.BigtableGrpcClient.mutateRow(BigtableGrpcClient.java:210) 在 com.google.cloud.bigtable.hbase.BigtableTable.put( BigtableTable.java:285) ... 32 更多

引起：io.grpc.StatusRuntimeException：在 io.grpc.stub.Calls$UnaryStreamToFuture.onClose(Calls.java:324) 在 io.grpc.ChannelImpl 的 io.grpc.Status.asRuntimeException(Status.java:428) 未知$CallImpl$ClientStreamListenerImpl$3.run(ChannelImpl.java:402) at io.grpc.SerializingExecutor$TaskRunner.run(SerializingExecutor.java:154) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) at java .util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) ... 还有 1 个

引起：java.nio.channels.ClosedChannelException

BigtableHelper.getConnection() 没有抛出异常，我假设它连接成功。put语句有什么问题吗？什么可能导致这个问题？谢谢！

我想知道 Google 的 BigTable 中的行键值是否有最大长度。

我知道文档建议使用散列作为创建相同长度密钥的潜在解决方案，但在我的场景中，如果我在密钥中包含文件路径，我可以更好地对相关数据进行分组。

Google 现在允许您使用 BigTable（在 Google Cloud Platform 中托管为名为“Cloud Bigtable”的产品）开发应用程序。但是，我找不到太多关于如何为其设计模式的示例。他们有一个文档，但它的级别很高：https ://cloud.google.com/bigtable/docs/schema-design

我的问题：gmail 的大致架构是什么（只是电子邮件列表组件）。它是高的还是宽的设计？他们将什么用于主键？

来自大型应用程序的任何其他生产示例将不胜感激，但我认为 Gmail 将是一个很好的例子。

尝试从 bigtable 获取表列表，但出现以下错误；

如示例所示（https://github.com/GoogleCloudPlatform/cloud-bigtable-examples/blob/master/java/simple-cli/pom.xml）；我在 pom 中有以下条目

任何帮助，将不胜感激！

执行 DataFlow 管道时，我们偶尔会看到这些异常。我们能对他们做些什么吗？我们有一个非常简单的流程，它从 GCS 中的文件读取并在输入文件中的每行创建一条记录——输入文件中大约有 100 万行。

管道内的数据也会发生什么？是否经过再加工？还是在传输到 BigTable 的过程中丢失了？

我们能做些什么来强化我们的代码吗？

数据流本身非常简单

ParDo看起来像：

这个也是时不时冒出来的。

此外，对于 Google SDK 类，它看起来也正在发生同样的事情 - 特别是在负载下 - 即数据流作业 2015-09-10_10_26_26-7782438171725519247

对这些例外有什么建议吗？谢谢！

我面临着根据以下要求分析不同系统日志文件的挑战：

• 数百个系统
• 每天有数百万条不同格式的日志

除了许多其他目标之外，我最大的挑战是对所有当前系统日志以及部分历史日志事件的所有传入日志进行实时相关性分析。

目前，我们专注于 MongoDB、ElasticSearch、Hadoop 等，以应对这一挑战。

另一方面，我读过一些关于 Google Bigtable 和 Bigquery 的有趣内容。

所以我的问题是，为了进行实时分析，Bigtable 和/或 Bigquery 是一个值得研究的解决方案吗？

我没有使用这两种产品的经验，所以我希望这些 Google 解决方案是否可以替代我的要求的一些提示。

THX & BR 驱动

编辑：

太宽泛。你需要展示你需要做的实际分析。bigquery 会比用 nosql 自制的便宜得多

我们的目标是开发一个系统，该系统能够根据当前日志事件（或不同日志事件的组合）及其过去与其他系统行为的交互来生成警告。

因此，我们必须能够针对大量非结构化历史数据对当前事件进行快速相关性分析。

我知道这个需求描述可能不是最具体的，但我们正处于这个项目的开始阶段。所以我提出这个问题的目标是为我们的下一次团队会议提供一些论据，我们是否应该考虑仔细研究 Bigtable / Bigquery。

我正在尝试使用 Dataproc 集群的实例将大型 CSV 文件导入 HDFS，然后将它们导出为SequenceFile格式，最后将最新的导入 Bigtable，如下所述： https ://cloud.google.com/bigtable /docs/exporting-importing

我最初将 CSV 文件作为外部表导入到 Hive 中，然后通过将它们插入到 SequenceFile 支持的表中来导出它们。

但是（可能是因为 Hive 1.0 似乎附带了 dataproc？），我遇到了这里提到的强制转换异常错误：Bigtable import error

我似乎无法在 dataproc 主 VM 上启动并运行 HBase shell 或 ZooKeeper，因此我无法从 CLI 运行简单的导出作业。

1. 有没有另一种方法可以从 dataproc 导出与 bigtable 兼容的序列文件？

2. 从 Dataproc VM 主节点运行 HBase 和 ZooKeeper 的正确配置是什么？

我正在尝试使用 Google Cloud Bigtable 服务，使用其 HBase 客户端，通过Hadoop 2（HBase 1.0.2 客户端）（可在https://github.com/thinkaurelius/titan/wiki/Downloads中获得）连接到 Titan 1.0.0。

通过遵循此过程，我可以成功地从 GCE 实例中的 HBase shell 连接到 Bigtable 。这hbase-site.xml是根据模板，我已经为ALPN_VERSION=8.1.5.v20150921（Oracle JDK SE 1.8.0_60）下载了 Bigtable jars

然后，我复制hbase-site.xml到titan-1.0.0-hadoop2/conf目录，并将 Bigtable jar复制到titan-1.0.0-hadoop2/lib文件夹。

然后，在titan-1.0.0-hadoop2文件夹上，我运行./run/gremlin.sh并启动控制台。

因此，当尝试使用 HBase 客户端（配置为指向 Bigtable 集群）创建连接时...

...我在 Gremlin 控制台中收到以下异常：

这是堆栈跟踪：

我在其他上下文中发现了具有相同异常的其他问题：Unable to connect to Google Bigtable using HBase REST api。
那个补丁也能解决我在 Titan 中遇到的这个异常吗？