问题标签 [google-cloud-bigtable]

我目前在 Google Cloud Platform 上运行 HBase 集群，并希望将其切换为使用 Cloud Bigtable - 我该怎么办？

我有一个 appengine 数据存储，我想迁移到 google cloud bigtable。最好的方法是什么？

谢谢你的回答，亚尼斯

Google Cloud Bigtable和 Google Cloud Datastore / App Engine 数据存储有什么区别，主要的实际优势/劣势是什么？AFAIK Cloud Datastore 建立在 Bigtable 之上。

Google Cloud BigTable 不支持协处理器：

不支持协处理器。您不能创建实现接口 org.apache.hadoop.hbase.coprocessor 的类。

https://cloud.google.com/bigtable/docs/hbase-differences

我可以理解协处理器需要在每个 Tablet (RS) 节点上部署客户代码（jar）。尽管如此，Endpoint 协处理器对于 HBase 应用程序在某些情况下确保数据局部性至关重要。Apache Phoenix 等 HBase 扩展依赖于 Observer 协处理器来维护二级索引，因此缺乏协处理器支持对我来说似乎是一个主要的不兼容领域。

将来是否可能支持协处理器？在 BigTable 平板电脑上执行自定义 Java“存储过程”有哪些变通方法？

更新 1： Apache Phoenix coprosessors 列表：

• GroupedAggregateRegionObserver
• 索引器
• 元数据端点实现
• 元数据区域观察者
• 扫描区域观察者
• 序列区域观察者
• 服务器缓存端点实现
• UngroupedAggregateRegionObserver

Google Cloud Bigtable 看起来很棒，但是我对备份和冗余有一些疑问。

是否有任何备份数据的选项以防止人为错误？

集群当前在单个区域中运行 - 是否有任何方法可以缓解区域不可用的情况？

我正在关注 BigTable 上的教程：https ://cloud.google.com/bigtable/docs/hbase-shell-quickstart

当我尝试启动 Docker 映像时，出现以下错误：

C:\dev\GoogleCloudBigtable-quickstart>docker run -it bigtable-hbase /bin/bash -c "hbase shell"

有什么建议么？

按照此示例，运行测试脚本“python put_get_with_client.py”会导致 400 错误（错误请求）。

错误请求 java.lang.ClassCastException: org.apache.hadoop.hbase.client.BigtableConnection 无法在 org.apache.hadoop.hbase.client.ConnectionManager.createConnection(ConnectionManager 中转换为 org.apache.hadoop.hbase.client.ClusterConnection .java:410) 在 org.apache.hadoop.hbase.client.ConnectionManager.createConnection(ConnectionManager.java:370) 在 org.apache.hadoop.hbase.client.HConnectionManager.createConnection(HConnectionManager.java:197) 在 org. org.apache.hadoop.hbase.util.ConnectionCache.getAdmin(ConnectionCache.java:124) 中的 org.apache.hadoop.hbase.rest 中的 apache.hadoop.hbase.util.ConnectionCache.getCurrentConnection(ConnectionCache.java:170)。 org.apache.hadoop.hbase.rest.RootResource.getTableList(RootResource.java:64) 上的 org.apache.hadoop 上的 RESTServlet.getAdmin(RESTServlet.java:102)。hbase.rest.RootResource.get(RootResource.java:80) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke( DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method.invoke(Method.java:606) 在 com.sun.jersey.spi.container.JavaMethodInvokerFactory$1.invoke(JavaMethodInvokerFactory.java:60) 在 com.sun。 jersey.server.impl.model.method.dispatch.Abs​​tractResourceMethodDispatchProvider$ResponseOutInvoker._dispatch(AbstractResourceMethodDispatchProvider.java:205) 在 com.sun.jersey.server.impl.model.method.dispatch.ResourceJavaMethodDispatcher.dispatch(ResourceJavaMethodDispatcher.java:75) ) 在 com.sun.jersey.server.impl.uri.rules.HttpMethodRule.accept(HttpMethodRule.java:288) 在 com.sun.jersey.server.impl.uri.rules.ResourceClassRule.accept(ResourceClassRule.java:108) 在 com.sun.jersey.server.impl.uri.rules.RightHandPathRule.accept(RightHandPathRule. java:147) 在 com.sun.jersey.server.impl.uri.rules.RootResourceClassesRule.accept(RootResourceClassesRule.java:84) 在 com.sun.jersey.server.impl.application.WebApplicationImpl._handleRequest(WebApplicationImpl.java:第1469章）在com.sun.jersey.server.impl.application.WebApplicationImpl.handleRequest（WebApplicationImpl.java:1349）在com .sun.jersey.server.impl.application.WebApplicationImpl.handleRequest(WebApplicationImpl.java:1339) 在 com.sun.jersey.spi.container.servlet.WebComponent.service(WebComponent.java:416) 在 com.sun.jersey.spi.container.servlet.ServletContainer.service(ServletContainer.java:537) 在 com.sun.jersey.spi.container.servlet.ServletContainer.service(ServletContainer.java:699) 在 javax .servlet.http.HttpServlet.service(HttpServlet.java:820) 在 org.mortbay.jetty.servlet.ServletHolder.handle(ServletHolder.java:511) 在 org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler .java:1221) 在 org.apache.hadoop.hbase.rest.filter.GzipFilter.doFilter(GzipFilter.java:76) 在 org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1212) 在org.mortbay.jetty.servlet.ServletHandler.handle(ServletHandler.java:399) 在 org.mortbay.jetty.servlet.SessionHandler.handle(SessionHandler.java:182) 在 org.mortbay.jetty.security.SecurityHandler。org.mortbay.jetty.handler.ContextHandler.handle(ContextHandler.java:766) 的句柄(SecurityHandler.java:216) org.mortbay.jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152) org.mortbay .jetty.Server.handle(Server.java:326) 在 org.mortbay.jetty.HttpConnection.handleRequest(HttpConnection.java:542) 在 org.mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:928) 在org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:549) 在 org.mortbay.jetty.HttpParser.parseAvailable(HttpParser.java:212) 在 org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404)在 org.mortbay.io.nio.SelectChannelEndPoint.run(SelectChannelEndPoint.java:410) 在 org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582)mortbay.jetty.handler.ContextHandler.handle(ContextHandler.java:766) 在 org.mortbay.jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152) 在 org.mortbay.jetty.Server.handle(Server.java: 326) 在 org.mortbay.jetty.HttpConnection.handleRequest(HttpConnection.java:542) 在 org.mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:928) 在 org.mortbay.jetty.HttpParser.parseNext(HttpParser .java:549) 在 org.mortbay.jetty.HttpParser.parseAvailable(HttpParser.java:212) 在 org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404) 在 org.mortbay.io.nio.SelectChannelEndPoint。在 org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582) 运行（SelectChannelEndPoint.java:410）mortbay.jetty.handler.ContextHandler.handle(ContextHandler.java:766) 在 org.mortbay.jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152) 在 org.mortbay.jetty.Server.handle(Server.java: 326) 在 org.mortbay.jetty.HttpConnection.handleRequest(HttpConnection.java:542) 在 org.mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:928) 在 org.mortbay.jetty.HttpParser.parseNext(HttpParser .java:549) 在 org.mortbay.jetty.HttpParser.parseAvailable(HttpParser.java:212) 在 org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404) 在 org.mortbay.io.nio.SelectChannelEndPoint。在 org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582) 运行（SelectChannelEndPoint.java:410）jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152) at org.mortbay.jetty.Server.handle(Server.java:326) at org.mortbay.jetty.HttpConnection.handleRequest(HttpConnection.java:542) at org .mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:928) 在 org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:549) 在 org.mortbay.jetty.HttpParser.parseAvailable(HttpParser.java:212 ) 在 org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404) 在 org.mortbay.io.nio.SelectChannelEndPoint.run(SelectChannelEndPoint.java:410) 在 org.mortbay.thread.QueuedThreadPool$PoolThread.run( QueuedThreadPool.java:582)jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152) at org.mortbay.jetty.Server.handle(Server.java:326) at org.mortbay.jetty.HttpConnection.handleRequest(HttpConnection.java:542) at org .mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:928) 在 org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:549) 在 org.mortbay.jetty.HttpParser.parseAvailable(HttpParser.java:212 ) 在 org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404) 在 org.mortbay.io.nio.SelectChannelEndPoint.run(SelectChannelEndPoint.java:410) 在 org.mortbay.thread.QueuedThreadPool$PoolThread.run( QueuedThreadPool.java:582)handleRequest(HttpConnection.java:542) at org.mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:928) at org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:549) at org.mortbay.jetty .HttpParser.parseAvailable(HttpParser.java:212) 在 org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404) 在 org.mortbay.io.nio.SelectChannelEndPoint.run(SelectChannelEndPoint.java:410) 在 org. mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582)handleRequest(HttpConnection.java:542) at org.mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:928) at org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:549) at org.mortbay.jetty .HttpParser.parseAvailable(HttpParser.java:212) 在 org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404) 在 org.mortbay.io.nio.SelectChannelEndPoint.run(SelectChannelEndPoint.java:410) 在 org. mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582)404) 在 org.mortbay.io.nio.SelectChannelEndPoint.run(SelectChannelEndPoint.java:410) 在 org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582)404) 在 org.mortbay.io.nio.SelectChannelEndPoint.run(SelectChannelEndPoint.java:410) 在 org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582)

那么，我猜 BigtableConnection 没有实现 ClusterConnection 接口？示例正确吗？

Will Google Cloud Bigtable be a HIPAA compliant data repository? In particular, will it support on disk encryption? And how much of the data will be stored concurrently with other users?

我创建了一个 Google Bigtable 集群。我正在尝试按照本教程进行连接 ，我试图下载他们的 cli 项目并构建它，但是当我尝试执行任何命令时它会失败。我还尝试构建更简单的连接器示例。这里是：

但是当我在本地机器上运行它时，出现以下异常

它说：

ComputeEngineCredentials 找不到元数据服务器。这可能是因为代码未在 Google Compute Engine 上运行。

那么这是否意味着这段代码只能在 Compute Engine 内部运行呢？有没有办法从我的本地计算机连接到它？有没有人有这方面的例子？

我按照这个例子从本地机器连接到 Bigtable 。当我使用 JDK 7 运行我的项目时，一切都很完美，但是当我使用 JDK 8 运行它时，我有以下几点：

似乎 java 8 中的 sun 库发生了变化。是否有在 java 8 下运行此代码的解决方法？