2

我想使用 pyhive 将 Python 连接到 hive。我正在使用下面的 python 脚本在我的本地执行。

#!/usr/bin/env python
# coding: utf-8
from pyhive import hive
from TCLIService.ttypes import TOperationState
def mysql_connect(host, port, username):
 conn = hive.Connection(host=host, port=port, username=username)
 return conn.cursor()

cursor = mysql_connect("localhost", 50070, "hduser")
cursor.execute("show databases")
print_log(cursor)

我有 pyhive 出现在位置/usr/local/lib/python2.7/dist-packages但我最终在以下输出中

vaibhav@vaibhav-Lenovo-G570:~/Desktop/Python/Automation$ ./pyhive_test.py
Traceback (most recent call last):
  File "./pyhive_test.py", line 9, in <module>
    cursor = mysql_connect("localhost", 50070, "hduser")
  File "./pyhive_test.py", line 6, in mysql_connect
    conn = hive.Connection(host=host, port=port, username=username)
  File "/usr/local/lib/python2.7/dist-packages/pyhive/hive.py", line 131, in __init__
    self._transport.open()
  File "/usr/local/lib/python2.7/dist-packages/thrift_sasl/__init__.py", line 80, in open
    status, payload = self._recv_sasl_message()
  File "/usr/local/lib/python2.7/dist-packages/thrift_sasl/__init__.py", line 101, in _recv_sasl_message
    payload = read_all_compat(self._trans, length)
  File "/usr/local/lib/python2.7/dist-packages/thrift_sasl/six.py", line 31, in <lambda>
    read_all_compat = lambda trans, sz: trans.readAll(sz)
  File "/home/vaibhav/.local/lib/python2.7/site-packages/thrift/transport/TTransport.py", line 60, in readAll
    chunk = self.read(sz - have)
  File "/home/vaibhav/.local/lib/python2.7/site-packages/thrift/transport/TSocket.py", line 132, in read
    message='TSocket read 0 bytes')
thrift.transport.TTransport.TTransportException: TSocket read 0 bytes

编辑 1. 文件名从 Pyhive 更改为 pyhive_test

  1. pyhive.py 已从目录中删除

尝试的可能解决方案： 1.安装了python2.7和python 3.4的两个版本。我卸载了 Python3.4，但该文件夹似乎仍然存在于 /usr/local/lib/ 中。我运行了下面的一些命令来检查我的 python 的安装位置以及 PYTHONPATH 中可用的包

vaibhav@vaibhav-Lenovo-G570:~$ which -a python
/usr/bin/python
vaibhav@vaibhav-Lenovo-G570:~$ python -c "import sys, pprint; pprint.pprint(sys.path)"
['',
 '/home/vaibhav',
 '/usr/lib/python2.7/dist-packages',
 '/usr/lib/python2.7',
 '/usr/lib/python2.7/plat-x86_64-linux-gnu',
 '/usr/lib/python2.7/lib-tk',
 '/usr/lib/python2.7/lib-old',
 '/usr/lib/python2.7/lib-dynload',
 '/home/vaibhav/.local/lib/python2.7/site-packages',
 '/usr/local/lib/python2.7/dist-packages',
 '/usr/lib/python2.7/dist-packages/PILcompat',
 '/usr/lib/python2.7/dist-packages/gtk-2.0',
 '/usr/lib/pymodules/python2.7',
 '/usr/lib/python2.7/dist-packages/ubuntu-sso-client']

2.从这里提到的链接获得参考，他们提到在虚拟环境中使用它或使用干净的蟒蛇。没有使用它们中的任何一个，也不知道它将如何影响已经存在的配置。

3.我使用 sudo 安装了 Pyhive，所以我在这个链接之后更改了权限，但仍然遇到同样的问题。

4

1 回答 1

0

您要启动的文件名为pyhive.py.

当你这样做

from pyhive import hive

在你的内部pyhive.py，然后它会尝试hive从你的模块导入，而不是从pyhive库中导入。

请命名您正在启动的文件，并避免使用现有模块/库的名称。

从文档：

当导入名为 spam 的模块时，解释器首先搜索具有该名称的内置模块。如果没有找到，它会在变量 sys.path 给出的目录列表中搜索名为 spam.py 的文件。sys.path 从这些位置初始化：

  • 包含输入脚本的目录（或当前目录）。
  • PYTHONPATH（目录名称列表，与 shell 变量 PATH 具有相同的语法）。
  • 安装相关的默认值。
于 2017-06-25T09:12:33.407 回答