1

我想在我们的 kerberized Hadoop 集群上连接到 Hive，然后从已经有自己的 Kerberose 客户端并且可以工作的机器运行一些 hql 查询（显然是哈哈 :)），keytab 已经通过并测试。

我们的 Hadoop 运行 HWS 3.1 和 CentOS7，我的机器也运行 CentOS7，我使用的是 Python 3.7.3 和 PyHive (0.6.1)。

我已经安装了一堆库（我也尝试卸载它们），因为我正在浏览不同的论坛（HWS，Cloudera，这里是......）

我通过 pip sasl 库安装

  • 纯sasl（0.6.1）
  • pysasl (0.4.1)
  • 萨斯尔 (0.2.1)
  • 节俭-sasl (0.3.0)

我是通过yum安装的

  • 赛勒斯-sasl-2.1.26-23.el7.x86_64
  • cyrus-sasl-lib-2.1.26-23.el7.x86_64
  • cyrus-sasl-plain-2.1.26-23.el7.x86_64
  • saslwrapper-devel-0.16-5.el7.x86_64
  • saslwrapper-0.16-5.el7.x86_64
  • cyrus-sasl-lib-2.1.26-23.el7.i686
  • cyrus-sasl-devel-2.1.26-23.el7.x86_64

下面是我与蜂巢的联系

return hive.Connection(host=self.host, port=self.port,
       database=self.database, auth=self.__auth,
       kerberos_service_name=self.__kerberos_service_name)

这是我的 yaml 的一部分

hive_interni_hdp: 
    db_type: hive 
    host: domain.xx.lan 
    database: database_name 
    user: user_name 
    port: 10000 
    auth: KERBEROS 
    kerberos_service_name: hive

当我尝试运行代码时，出现以下错误。

  File "/opt/Python3.7.3/lib/python3.7/site-packages/dfpy/location.py", line 1647, in conn
    self.__conn = self._create_connection()
  File "/opt/Python3.7.3/lib/python3.7/site-packages/dfpy/location.py", line 1633, in _create_connection
    kerberos_service_name=self.__kerberos_service_name)
  File "/opt/Python3.7.3/lib/python3.7/site-packages/pyhive/hive.py", line 192, in __init__
    self._transport.open()
  File "/opt/Python3.7.3/lib/python3.7/site-packages/thrift_sasl/__init__.py", line 79, in open
    message=("Could not start SASL: %s" % self.sasl.getError()))
thrift.transport.TTransport.TTransportException: Could not start SASL: b'Error in sasl_client_start (-4) SASL(-4): no mechanism available: No worthy mechs found'

有没有人走运？障碍在哪里？Pyhive 库，错误的 Kerberos 连接设置？

4

1 回答 1

1

我找到了一个解决方案，我查看了这个文档https://www.cyrusimap.org/sasl/sasl/sysadmin.html

在哪里提到了 GSSAPI（使用我正在使用的 Kerberos 5）并且我已经检查过，我的机器上不支持 gssapi

sasl2-shared-mechlist

它表示

GSS-SPNEGO，登录，普通，匿名

但是在安装 gssapi 库之后

yum install cyrus-sasl-gssapi

机械清单状态

GSS-SPNEGO,GSSAPI,登录,普通,匿名

比我再次运行代码，万岁！

PS不要忘记验证并验证您的密钥表是否有效

kinit -kt /root/user.keytab user@domain.com
klist
于 2019-08-16T13:17:28.387 回答