问题标签 [happybase]

要使用 Happybase - Python，我们需要启动 Thrift 服务器并为 Hbase 运行，如 Happybase 文档中所述。

在为 Happybase 启动 Thrift 服务器时，我遇到了以下 java 运行时异常。

线程“主”java.lang.AbstractMethodError 中的异常：org.apache.hadoop.metrics2.sink.timeline.HadoopTimelineMetricsSink.init(Lorg/apache/phoenix/shaded/org/apache/commons/configuration/SubsetConfiguration;

我正在使用以下命令启动 Thrift 服务器。

我想在现有表中添加一个新的列簇，你知道怎么做吗？

我正在尝试通过happybase框架版本0.8连接hbase。

我已经开始守护进程 - /usr/hdp/current/hbase-master/bin/hbase-daemon.sh start thrift -p 9090

我是否需要在所有节点、Hbase master 和 RegionServers 中启动 thrift 服务？

我收到了这个错误：

TSocket 读取 0 个字节

我想通过 Happybase 将 Pyspark 与 Hbase 连接起来。但我在开始时收到此错误：

(pyenv) hduser@master:~$ python -c 'import happybase'
(pyenv) hduser@master:~$ python -c connection = happybase.Connection("somehost") bash: 意外标记 `(' 附近的语法错误

我正在尝试扫描具有超过 1,000,000,000 行的远程 HBASE 表。扫描后，使用扫描的行，尝试使用 hdfs 制作 csv 文件。

我尝试了将近 3 周来解决它，但我不能。

这样我扫描数据并制作csv文件

错误信息

/host/anaconda3/lib/python3.6/site-packages/thriftpy/transport/socket.py 的来源

/host/anaconda3/lib/python3.6/site-packages/thriftpy/transport/socket.py 的来源

==>我尝试过兼容协议，增加网络 tcp 内存缓冲区，增加超时配置，在扫描参数中设置 1 到 10000 批量大小等。

但它几乎可以运行 30 分钟，但突然发生错误。几乎 1/50 次它完成得很好。（运行良好，没有任何错误）请帮助我。我试图找到错误的原因。但我无法得到它。

有人知道如何解决吗？

这是我的代码

编辑：此问题和答案适用于遇到主题行中所述异常的任何人：TTransportException(type=4, message='TSocket read 0 bytes') ; 是否涉及 Cloudera 和/或 HappyBase。

根本问题（事实证明）源于与正在实现的内容不匹配protocol和/或transport格式，这可能发生在任何客户端/服务器配对中。我的恰好是Cloudera 和 HappyBase，但你的不一定是，你可能会遇到同样的问题。client-sideserver-side

最近有没有人尝试使用happybase v1.1.0 (latest)Python 包与Hbaseon交互Cloudera CDH v6.1.x？

我正在尝试各种选项，但不断出现异常：

这是我开始会话并提交简单调用以获取表列表的方式（使用Python v3.6.7：

以下是服务器的Cloudera CDH v6.1.x启动方式Hbase Thrift（为简洁起见）：

我已经尝试了几种选项的变体，但一无所获。

有没有人让这个工作？

编辑：我接下来编译Hbase.thrift（从Hbase源文件 -HBase使用的相同版本CDH v6.1.x）并使用 Pythonthrift绑定包（换句话说，我happybase从等式中删除）并得到相同的异常。

(._.);

谢谢！

通过 Python 连接到 HBase 时遇到 Thrift 错误。请在下面找到错误跟踪 -

我该如何解决这个错误？

我的 Hbase 配置如下所示

• 蟒蛇- 3.6.7
• HBase 版本- 2.1.2
• Happybase 版本- 1.1.0
• 运输- 装裱
• 协议- 紧凑
• Thrift 启动命令- ./hbase-daemon.sh start thrift -hsha

之前，我使用过具有相同配置的 Hbase 版本1.4.6和2.0.1 。使用1.4.6时我没有遇到任何 Thrift 错误。谁能指导我克服 HBase 最新版本中的这个错误？

我尝试使用happpybase 1.1.0withhbase2.X.X但出现传输异常。我在happybase中将传输和协议参数设置为“framed”和“compat”，并且在启动节俭服务时也进行了设置。

文件“/usr/local/lib/python3.6/dist-packages/happybase/table.py”，第 402 行，在扫描 self.name，扫描，{}）文件“/usr/local/lib/python3.6 /dist-packages/thriftpy/thrift.py”，第 198 行，在 _req 中返回 self._recv(_api) 文件“/usr/local/lib/python3.6/dist-packages/thriftpy/thrift.py”，第 210 行, 在 _recv fname, mtype, rseqid = self._iprot.read_message_begin() 文件“thriftpy/protocol/cybin/cybin.pyx”，第 429 行，在 cybin.TCyBinaryProtocol.read_message_begin (thriftpy/protocol/cybin/cybin.c:6325 )

文件“thriftpy/protocol/cybin/cybin.pyx”，第 60 行，在 cybin.read_i32 (thriftpy/protocol/cybin/cybin.c:1546)

文件“thriftpy/transport/buffered/cybuffered.pyx”，第 65 行，thriftpy.transport.buffered.cybuffered.TCyBufferedTransport.c_read (thriftpy/transport/buffered/cybuffered.c:1881)

文件“thriftpy/transport/buffered/cybuffered.pyx”，第 69 行，thriftpy.transport.buffered.cybuffered.TCyBufferedTransport.read_trans (thriftpy/transport/buffered/cybuffered.c:1948)

文件“thriftpy/transport/cybase.pyx”，第 61 行，thriftpy.transport.cybase.TCyBuffer.read_trans (thriftpy/transport/cybase.c:1472)

文件“/usr/local/lib/python3.6/dist-packages/thriftpy/transport/socket.py”，第 125 行，在 read message='TSocket read 0 bytes') thriftpy.transport.TTransportException: TTransportException(type= 4、message='TSocket读取0字节')

我们正在使用 HDP 3。我们正在尝试在 Hbase 表中特定列族的列之一中插入 PDF 文件。开发环境为python 3.6，hbase连接器为happybase 1.1.0。

我们无法在 hbase 中上传任何大于 10 MB 的 PDF 文件。

在hbase中我们设置了如下参数：

我们收到以下错误：

IOError(message=b'org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException: 失败 1 操作: org.apache.hadoop.hbase.DoNotRetryIOException: 大小为 80941994 的单元格超过 10485760 字节的限制\n\tat org.apache.hadoop .hbase.regionserver.RSRpcServices.checkCellSizeLimit(RSRpcServices.java:937)\n\tat org.apache.hadoop.hbase.regionserver.RSRpcServices.doBatchOp(RSRpcServices.java:1010)\n\tat org.apache.hadoop.hbase .regionserver.RSRpcServices.doNonAtomicBatchOp(RSRpcServices.java:959)\n\tat org.apache.hadoop.hbase.regionserver.RSRpcServices.doNonAtomicRegionMutation(RSRpcServices.java:922)\n\tat org.apache.hadoop.hbase.regionserver .RSRpcServices.multi(RSRpcServices.java:2683)\n\tat org.apache.hadoop.hbase.shaded.protobuf.generated.ClientProtos$ClientService$2.callBlockingMethod(ClientProtos.java:42014)\n\tat org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:409)\n\tat org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:131)\n\tat org.apache。 hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:324)\n\tat

我正在尝试使用 Happybase 创建一个表。首先，我输入以下命令让 Hbase 和 Thrift 运行：

一旦运行，我打开 Python 的命令提示符并输入以下内容：

但是，当我尝试创建表时：

我收到以下我不明白的错误。