问题标签 [pyhive]

我PyHive用来访问我的 Hive 服务器：

它有效：

如果我尝试访问表开头带有数字的表或数据库，则会收到错误消息：

给我

有谁知道解决方法或解决方法？我无法更改表的名称。

我必须从 Python 对 Hive 执行以下查询：

至于现在我有以下工作代码片段：

所以我可以使用 PyHs2 将参数传递给查询。但是我怎样才能从 Python 代码中执行变量替换而不更改原始查询（即${hiveconf:AGE}以干净的方式替换为某个值）？

我正在将我的 ETL 代码迁移到 Python 并使用 pyhs2，但我将切换到 pyhive，因为它得到了积极的支持和维护，而且没有人拥有 pyhs2。我的问题是如何构造 fetchmany 方法来迭代数据集。

这是我使用 pyhs2 的方法：

我有 fetchmany(size=100000)，但是当它返回空集时它失败了。

我使用python连接配置单元并将数据检索到熊猫中，但它给出了一个错误：

我的代码：

测试.py

异常消息：

pyhive.exc.OperationalError: TExecuteStatementResp(status=TStatus(errorCode=1, errorMessage='Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask', sqlState='08S01', infoMessages=['*org.apache.hive.service.cli.HiveSQLException:Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr .MapRedTask:28:27', 'org.apache.hive.service.cli.operation.Operation:toSQLException:Operation.java:326', 'org.apache.hive.service.cli.operation.SQLOperation:runQuery:SQLOperation .java:146', 'org.apache.hive.service.cli.operation.SQLOperation:runInternal:SQLOperation.java:173', 'org.apache.hive.service.cli.operation.Operation:run:Operation.java ：268'，'org.apache.hive.service.cli.session。HiveSessionImpl:executeStatementInternal:HiveSessionImpl.java:410', 'org.apache.hive.service.cli.session.HiveSessionImpl:executeStatement:HiveSessionImpl.java:391', 'sun.reflect.GeneratedMethodAccessor31:invoke::-1', ' sun.reflect.DelegatingMethodAccessorImpl:invoke:DelegatingMethodAccessorImpl.java:43', 'java.lang.reflect.Method:invoke:Method.java:606', 'org.apache.hive.service.cli.session.HiveSessionProxy:invoke: HiveSessionProxy.java:78', 'org.apache.hive.service.cli.session.HiveSessionProxy:access$000:HiveSessionProxy.java:36', 'org.apache.hive.service.cli.session.HiveSessionProxy$1:run: HiveSessionProxy.java:63'、'java.security.AccessController:doPrivileged:AccessController.java:-2'、'javax.security.auth.Subject:doAs:Subject.java:415'、'org.apache.hadoop.security .UserGroupInformation:doAs:UserGroupInformation.java:1671', 'org.apache.hive.service.cli.session.HiveSessionProxy:invoke:HiveSessionProxy.java:59', 'com.sun.proxy.$Proxy27:executeStatement::-1 ', 'org.apache.hive.service.cli.CLIService:executeStatement:CLIService.java:245', 'org.apache.hive.service.cli.thrift.ThriftCLIService:ExecuteStatement:ThriftCLIService.java:509', 'org .apache.hive.service.cli.thrift.TCLIService$Processor$ExecuteStatement:getResult:TCLIService.java:1313', 'org.apache.hive.service.cli.thrift.TCLIService$Processor$ExecuteStatement:getResult:TCLIService.java :1298', 'org.apache.thrift.ProcessFunction:process:ProcessFunction.java:39', 'org.apache.thrift.TBaseProcessor:process:TBaseProcessor.java:39', 'org.apache.hive.service.auth .TSetIpAddressProcessor：进程：TSetIpAddressProcessor.java:56', 'org.apache.thrift.server.TThreadPoolServer$WorkerProcess:run:TThreadPoolServer.java:285', 'java.util.concurrent.ThreadPoolExecutor:runWorker:ThreadPoolExecutor.java:1145', 'java. util.concurrent.ThreadPoolExecutor$Worker:run:ThreadPoolExecutor.java:615', 'java.lang.Thread:run:Thread.java:745'], statusCode=3), operationHandle=None)

谢谢！

我正在尝试使用 python 2（miniconda2 安装）连接到配置单元。下面是我正在尝试的代码 -

kerberos 主机安装在同一台主机上，并且服务名称为 'ITEDM' 奇怪的是，我遇到了以下错误-

我没有以用户身份传递“krbtgt”，不确定为什么会出现此错误。谢谢你的帮助。

我在用

Centos，Python2.7，hive 2.1，Hadoop 2.7.2，pyHive

这是代码

当我在终端中运行 python /usr/local/py/test5.py 时，它的显示......

在此之后显示 Hive 服务器错误日志...

我也试过pyhs2得到同样的错误

出了什么问题？

谢谢

我正在尝试从 iPython Notebook 中的 Hive 访问数据。所以我跑

这返回

但是当我运行以下导入时

我收到以下错误消息

为什么我已经安装了 pyhive 后无法访问它。

我似乎无法让 PyHive 正常工作。Yum 报告 Package cyrus-sasl-lib-2.1.26-20.el7_2.x86_64 已经安装并且是最新版本。

希望我只是错过了一些东西。请帮忙？

我已经安装了，

由于pip install sasl失败，我下载了 sasl‑0.2.1‑cp27‑cp27m‑win_amd64.whl文件并将其安装在我的 Windows 8.1 PC 中。

然后我写了这段代码，

这给出了错误：

这段代码给出了，

这个错误，

无法启动 SASL：sasl_client_start (-4) 中的错误 SASL(-4)：没有可用的机制：找不到回调：2

我从这里下载了 Hortonworks 沙盒，并在单独的服务器中使用它。

注意：我也经历了这个，但接受的答案对我不起作用，因为从配置单元导入 ThriftHive 会出现导入错误，尽管我已经安装了 pip 配置单元。所以我决定使用 pyhive 或 sqlalchemy

如何连接到 hive 并轻松执行查询？

使用此链接尝试连接到远程配置单元。下面是使用的代码。收到的错误消息也在下面给出

如何通过 Python 访问 Hive？

代码

错误信息

成功连接的其他要求是什么？我能够直接连接到服务器（使用 putty）并运行 hive。但是当从另一台服务器 X 尝试时，我得到了这个错误。我也可以从服务器 X ping 配置单元服务器。

端口号可能是问题吗？如何检查正确的端口号？

如以下答案中所述，我尝试启动 hiveserver2 。但该命令似乎不起作用。非常感谢任何帮助。

当我从 hive shell 执行查询时，我在日志中看到的端口也是8088。想知道这是否应该是端口而不是10000（无论如何都不起作用）