问题标签 [happybase]

我正在使用 happybase 连接到我的 Hbase 数据库。我制作了一个名为“irisSample”的样本表。这是我遇到问题的代码部分-

我得到以下信息。

我也尝试过json.dumps(data)，而不是str(data)抛出相同的异常。

从我收集的内容来看，这似乎更像是一个 Thrift 问题，但我可能是错的。我可能不得不看看starbase。我不知道，这就是我问你们的原因。

我昨天从 Hbase 工作和阅读代码，流式传输大量数据。我没有接触过代码，但不知何故，当我今天回到它时，它不想打印出数据。我在服务器上做的唯一一件事就是建立一个 REST 框架来写入数据库。这是有效的代码的一部分（所以看起来它正在建立连接） -

然后，当它到达这部分时，它就会停止工作。

就像我说的，服务器上唯一改变的是我设置了 REST 端口（8000）。那是问题吗？我只需要从数据库中提取数据。

我的代码如下：

raw:dataInfo 列可能有 50MB 大，当我运行上面的代码时，happybase 崩溃并抛出以下异常：

请有任何想法，如何计算大专栏。谢谢！

我一直对过滤器在 HBase 中的工作方式感到困惑（或者，在很大程度上等同于在 HappyBase 中——我用来与 HBase 交互）。我困惑的根源是我似乎无法掌握过滤器的作用。

某些过滤器，例如SingleColumnValueFilter，会导致不会根据其中一列的值发出行。这是有道理的——在我看来，这就是过滤器的用途。但是，其他过滤器，如FirstKeyOnlyFilter，似乎不是按行过滤，而是过滤呈现给请求者的数据——即，它们按列过滤，就像columns参数一样。不仅如此，它们似乎还会影响其他过滤器是否可以访问数据。

也许我只是用错了。但是，对我来说，“过滤器”应该根据对其属性进行操作的输出来删除项目，例如“找到所有身高超过 7 英尺的人！” 但是FirstKeyOnlyFilter，至少在 HBase 中， 的行为似乎更类似于“给我带来所有人的左耳，别无其他！” 此外，如果我有一个像这样的过滤器：

SingleColumnValueFilter('body', 'height', =, 'regexstring:^over7ft$') AND FirstKeyOnlyFilter，FirstKeyOnlyFilter似乎限制了第一个过滤器访问列族：列“body：height”。

这种设计选择是什么？上面的过滤器看起来像是在说，“告诉我每个身高正好 7 英尺的人的名字！” 但相反，它更像是“如果名字有 7 英尺高，请告诉我每个名字！” 行的第一个键没有列，正如可以说名称具有“高度”一样。

我究竟做错了什么？这是 HappyBase 的特性还是在 HBase 中也一样？

我查看了 HappyBase Connection 类的代码以及此处的文档：http: //happybase.readthedocs.org/en/latest/user.html#establishing-a-connection

但我无法找到任何方法来设置不同的 Hbase 超时，例如在 happybase 中的 hbase.rpc.timeout、hbase.rpc.shortoperation.timeout。

如何设置这些参数？

我有一个 JSON 列表，需要将其作为 JSON 对象读取并插入到 HBase 中。每个 JSON（可能是嵌套的 JSON）都需要从列表中读取并与新的行键一起插入

格式：

我有一个 PySpark 作业，可以更新 HBase 中的一些对象（Spark v1.6.0；happybase v0.9）。

如果我为每一行打开/关闭一个 HBase 连接，它有点工作：

在几千次 upsert 之后，我们开始看到如下错误：

显然，为每个 upsert 打开/关闭连接是低效的。这个函数实际上只是一个适当解决方案的占位符。

然后我尝试创建一个process_row使用连接池的函数版本：

由于某种原因，此函数的连接池版本返回错误（请参阅完整的错误消息）：

你能看出我做错了什么吗？

更新

我看到这篇文章并怀疑我遇到了同样的问题：Spark 尝试序列化pool对象并将其分发给每个执行程序，但是这个连接池对象不能在多个执行程序之间共享。

听起来我需要将数据集拆分为多个分区，并为每个分区使用一个连接（请参阅使用 foreachrdd 的设计模式）。我尝试了这个，基于文档中的一个例子：

不幸的是，它仍然返回“无法腌制 thread.lock 对象”错误。

我有一个带有 cloudera hbase 的多节点集群。它有：

• 1位大师，
• 5个节俭的服务器，
• 5个区域服务器，
• 1 个网关

我必须在哪些服务器上安装happybase？我已阅读happybase 文档，但没有找到此信息。

我需要读写基地。只在网关服务器上安装happybase就够了吗？

I'm trying to use happybase to access my Hbase table.

I'm using the python3 branch from the happybase github repo.

Here's my test code:

When I execute this I'm getting Key Error on the row because the column family is returned as a byte string.

Happybase documentation does not show any conversion to get column families working. However, it does mention that HBase stores data as byte strings which happybase cannot handle.

How do I return a column family from a row without Key Error?

我正在使用happybase 来访问HBase。但是，我需要的唯一参数是主机名。Thrift 在没有身份验证的情况下如何工作？如何为我的代码添加安全性？