问题标签 [pyhive]

我想使用 pyhive 将 Python 连接到 hive。我正在使用下面的 python 脚本在我的本地执行。

我有 pyhive 出现在位置/usr/local/lib/python2.7/dist-packages但我最终在以下输出中

编辑 1. 文件名从 Pyhive 更改为 pyhive_test

2. pyhive.py 已从目录中删除

尝试的可能解决方案： 1.安装了python2.7和python 3.4的两个版本。我卸载了 Python3.4，但该文件夹似乎仍然存在于 /usr/local/lib/ 中。我运行了下面的一些命令来检查我的 python 的安装位置以及 PYTHONPATH 中可用的包

2.从这里提到的链接获得参考，他们提到在虚拟环境中使用它或使用干净的蟒蛇。没有使用它们中的任何一个，也不知道它将如何影响已经存在的配置。

3.我使用 sudo 安装了 Pyhive，所以我在这个链接之后更改了权限，但仍然遇到同样的问题。

因为我使用python来控制hive数据etl流，而我使用pyhive连接hive并执行HQL。我想从 hive 获取更多信息，例如 tez 会话执行输出或 hive 的 java 错误异常输出。我应该如何破解 pyhive 包，才能得到这种结果？

我在通过 SuperSet（apache 孵化器）运行 Hive 查询时遇到了一个奇怪的问题：

我得到的错误可以在我运行超集的终端中捕获（运行 ubuntu 的 VM 虚拟机虚拟机）：

有趣的是，当日期周期为 7/21 - 7/24 时，它可以正常工作。我认为它必须使用内存，但将浏览器添加到故事中（作为一个选项组）并没有改变行为（我的逻辑是添加它会破坏查询，即使在 7/21 - 7/24 期间由于行数增加）。

不用说，从例如SQL Developer Tool启动时，查询运行完美。

提前致谢！

我一直在使用超集通过 hive 查询外部表。该表的列主要是 hive 复杂数据类型，例如struct. 我将如何在 SQL LAB 中编写一个执行如下操作的查询？ SELECT header.guid FROM table1 WHERE guid = 'xxxx' whereheader是结构数据类型并且guid是标头的成员。

据我所知，问题是pyhive 将结构数据类型映射到字符串，尽管还不确定如何解决它

我使用 AWS EMR 创建了一个 presto 集群。我正在使用所有默认配置。我想在主节点上编写一个 python 脚本来将查询推送到 presto 并获得结果。

我找到了 PyHive 库，但我不知道将什么放入连接字符串：

我认为 localhost 可能是正确的，因为我在 presto 集群的主节点上运行脚本，但是我收到一个错误：

我想在 zeppelin 中使用pyhive连接 presto

现在，我关注https://github.com/dropbox/PyHive

我使用连接功能和正确的参数。

但它不起作用。

我该如何解决？

我有一个像

这是错误的，因为 2017-09-13 和 2017-09-19 没有被 '' 包围。

在直线中，它会导致错误消息，如

错误：编译语句时出错：失败：ParseException 行 2:0 在 ']' 附近的 'select' 处缺少 EOF（状态 = 42000，代码 = 40000）

但在 PyHive 中，空结果 [] 正常。顺便说一句，我通过 sqlalchemy 使用它。

我尝试在 create_engine() 函数和日志记录中使用 echo=True，但两者都无法输出错误消息。

2017-09-20 12:17:22,904 INFO sqlalchemy.engine.base.Engine select * from log where concat_ws('-',year,month,day) 在 2017-09-13 和 2017-09-19 之间

INFO:sqlalchemy.engine.base.Engine:select * from log where concat_ws('-',year,month,day) 在 2017-09-13 和 2017-09-19 之间

2017-09-20 12:17:22,905 信息 sqlalchemy.engine.base.Engine {}

信息：sqlalchemy.engine.base.Engine：{}

所以想知道有没有办法得到服务器端的错误，调试起来会很方便。

我正在尝试访问不安全的配置单元（hive.server2.authentication 为 NONE），并且在 pyhive 和 impala 中都收到以下错误消息：

我的 impyla 代码：

我的pyhive代码：

关于如何解决这个问题的任何想法？或者任何其他让我连接到 hive 的 python API？

我正在尝试使用DB-API（异步）示例通过 python（PyHive 0.5，python 2.7）连接到在 docker 容器内（从容器外部）运行的 Hive server-2

但是，我收到以下错误

我正在使用的 docker 镜像是这个（标签：mysql_corrected）。它运行以下服务（由 jps 命令输出）

我正在使用启动容器

此外，我执行以下步骤在 docker 容器中启动 Hive 服务器

1. 启动mysql服务：service mysqld start
2. 切换到目录 /usr/local/hive：cd $HIVE_HOME
3. 启动 Hive 元存储服务器：nohup bin/hive --service metastore &
4. 启动 Hive 服务器 2：（hive --service hive-server2注意 thrift-server 端口已更改为 10001 /usr/local/hive/conf/hive-site.xml）
5. 启动直线外壳：beeline
6. 将 beeline shell 与 Hive server-2 连接：!connect jdbc:hive2://localhost:10001/default;transportMode=http;httpPath=cliservice

我已经尝试过以下事情，但没有任何运气

1. 将python 2.7.3作为docker容器内的默认python版本（原始默认是python 2.6.6，python 2.7.3安装在容器内但不是默认的）
2. 将 Hive 服务器端口更改为其默认值：10000
3. 尝试通过在容器内运行相同的 python 脚本来连接 Hive 服务器（它仍然给出相同的错误）

我正在尝试使用 pyhive 获取位于 hive (hortonworks) 中的表，以收集一些 Twitter 数据以在机器学习项目中实现，因为 python3.6 不支持 pyhs2。

这是我的代码：

得到这个错误：

这是点子列表：

有人可以帮忙吗？我正在使用 Windows 10。

提前谢谢了。