0

我在我的程序中使用 pyhive 和 dolphinscheduler,它在开发环境中运行良好,但在生产环境中有时会失败,有时会成功。我不知道为什么?

示例代码

from pyhive import hive
conn = hive.Connection(host="cdh1", port=10000, username="root")
cursor = conn.cursor()
cursor.execute("""
set hive.exec.dynamic.partition.mode=nonstrict
""")
cursor.execute("""
INSERT INTO TABLE table_name
SELECT ...
""")
cursor.close()
conn.close()    

软件版本

CDH6.3  
hive version 2.1.1  
hadoop version 3.0.0

/tmp/hive/XXX 日志

ERROR [main]  hadoop.ParquetRecordReader: Can not initialize counter due to context is not a instance of TaskInputOutputContext, but is org.apache.hadoop.mapreduce.task.TaskAttemptContextImpl

pyhive 错误消息

4

1 回答 1

0

也许,你必须确保你的 CDH 集群是健康的

于 2021-12-08T07:09:12.713 回答