我在我的程序中使用 pyhive 和 dolphinscheduler,它在开发环境中运行良好,但在生产环境中有时会失败,有时会成功。我不知道为什么?
示例代码
from pyhive import hive
conn = hive.Connection(host="cdh1", port=10000, username="root")
cursor = conn.cursor()
cursor.execute("""
set hive.exec.dynamic.partition.mode=nonstrict
""")
cursor.execute("""
INSERT INTO TABLE table_name
SELECT ...
""")
cursor.close()
conn.close()
软件版本
CDH6.3
hive version 2.1.1
hadoop version 3.0.0
/tmp/hive/XXX 日志
ERROR [main] hadoop.ParquetRecordReader: Can not initialize counter due to context is not a instance of TaskInputOutputContext, but is org.apache.hadoop.mapreduce.task.TaskAttemptContextImpl