0

我已经安装了，

pip install thrift
pip install PyHive
pip install thrift-sasl

由于pip install sasl失败，我下载了 sasl‑0.2.1‑cp27‑cp27m‑win_amd64.whl文件并将其安装在我的 Windows 8.1 PC 中。

然后我写了这段代码，

from pyhive import hive
cursor = hive.connect('192.168.1.232', port=10000, auth='NONE')
cursor.execute('SELECT * from sample_07 LIMIT 5',async=True)
print cursor.fetchall()

这给出了错误：

Traceback (most recent call last):
  File "C:/DigInEngine/scripts/UserManagementService/fd.py", line 37, in <module>
    cursor = hive.connect('192.168.1.232', port=10000, auth = 'NONE')
  File "C:\Python27\lib\site-packages\pyhive\hive.py", line 63, in connect
    return Connection(*args, **kwargs)
  File "C:\Python27\lib\site-packages\pyhive\hive.py", line 104, in __init__
    self._transport.open()
  File "C:\Python27\lib\site-packages\thrift_sasl\__init__.py", line 72, in open
    message=("Could not start SASL: %s" % self.sasl.getError()))
thrift.transport.TTransport.TTransportException: Could not start SASL: Error in sasl_client_start (-4) SASL(-4): no mechanism available: Unable to find a callback: 2

这段代码给出了，

from sqlalchemy import create_engine
engine = create_engine('hive://192.168.1.232:10000/default')
try:
    connection = engine.connect()
except Exception, err:
    print err
result = connection.execute('select * from sample_07;')
engine.dispose()

这个错误，

无法启动 SASL：sasl_client_start (-4) 中的错误 SASL(-4)：没有可用的机制：找不到回调：2

我从这里下载了 Hortonworks 沙盒，并在单独的服务器中使用它。

注意：我也经历了这个，但接受的答案对我不起作用，因为从配置单元导入 ThriftHive 会出现导入错误，尽管我已经安装了 pip 配置单元。所以我决定使用 pyhive 或 sqlalchemy

如何连接到 hive 并轻松执行查询？

4

2 回答 2

1

使用 pyhive 时，不能将身份验证传递为auth="NOSASL"，而不是"None"，因此您的代码应如下所示：

from pyhive import hive
cursor = hive.connect('192.168.1.232', port=10000, auth='NOSASL')
cursor.execute('SELECT * from sample_07 LIMIT 5',async=True)
print cursor.fetchall()
于 2018-12-19T22:24:26.390 回答
1

以下是在 Windows 上构建 SASL 的步骤，但您的工作量可能会有所不同：这在很大程度上取决于您的特定系统的路径和可用的库。

另请注意，这些说明特定于 Python 2.7（我看到您从问题中的路径中使用）。

高级概述是您正在安装此项目： https ://github.com/cyrusimap/cyrus-sasl 。为此，您必须使用用于构建 Python 2.7 的旧版 C++ 编译器。还有几个其他步骤可以让它工作。

预建步骤：

  1. 为 Python 2.7安装Microsoft Visual C++ 编译器。使用默认安装路径 - 记下接下来 2 个步骤的安装位置（以下列表中包含 2 个选项）
  2. 将此文件复制到适合您安装的任何包含位置
  3. 在同一个包含目录中从这个答案创建一个 unistd.h 文件

构建步骤：

  1. git clone https://github.com/cyrusimap/cyrus-sasl
  2. 从步骤 1 打开与编译器一起安装的“VS2013 x64 Native Tools 命令提示符”
  3. 将目录更改为第4步创建的目录，然后是lib子目录
  4. nmake /f ntmakefile STATIC=no prefix=C:\sasl64
  5. nmake /f ntmakefile prefix=C:\sasl64 STATIC=no install 见下面的注释
  6. copy /B C:\sasl64\lib\libsasl.lib /B C:\sasl64\lib\sasl2.lib
  7. pip install thrift_sasl --global-option=build_ext \ --global-option=-IC:\\sasl64\\include \ --global-option=-LC:\\sasl64\\lib

“包括”位置：

  • “C:\Program Files (x86)\Common Files\Microsoft\Visual C++ for Python\9.0\VC\include\stdint.h”
  • "%USERPROFILE%\AppData\Local\Programs\Common\Microsoft\Visual C++ for Python\9.0\VC\include"

这是对这些相同步骤的参考，并带有一些额外的注释和解释：http: //java2developer.blogspot.co.uk/2016/08/making-impala-connection-from-python-on.html。

注意 引用的指令也在include和win32\include子目录中执行了步骤 (8)，您可能也必须这样做。

于 2017-02-14T18:29:11.320 回答