hadoop - PyHive 忽略 Hive 配置

Question

我间歇性地收到错误消息

由于 VERTEX_FAILURE，DAG 没有成功。

通过 PyHive 运行 Hive 查询时。Hive 在 EMR 集群上运行，因此在 hive-site.xml 文件中 hive.vectorized.execution.enabled设置为。false

我可以通过 Hive 连接上的配置设置上述属性，并且每次执行它时我的查询都成功运行，但是我想确认这已经解决了问题，并且 hive-site.xml 肯定是这种情况。 xml 被忽略。

任何人都可以确认这是否是预期的行为，或者是否有任何方法可以通过 PyHive 检查 Hive 配置，因为我无法找到任何这样做的方法？

谢谢！

Answer 1

PyHive是连接到 HiveServer2 的瘦客户端，就像 Java 或 C 客户端（通过 JDBC 或 ODBC）一样。它不使用本地机器上的任何 Hadoop 配置文件。HS2 会话从服务器端设置的任何属性开始。顺便说一句，
同样如此。ImPyla

因此，您有责任从 Python 代码中设置自定义会话属性，例如
SET hive.vectorized.execution.enabled =False
，在运行SELECT.