python - 如何配置 hive.Connection() 以通过 Hive 我想要的设置？

Question

我在 Ubuntu 17.10 上运行 Spyder 3.2.8。我想通过远程集群上的 Hive 使用该set hive.cli.print.header=true;命令为列名命名。

这是我到目前为止所做的：

con = hive.Connection(host="name", 
                      port=some port, 
                      username="usr",
                      configuration='hive.cli.print.header = True')

设置配置的正确方法是什么，我什至找不到一个工作示例。

Answer 1

你可以试试这样的

conn = hive.Connection(host="host", port="port", username="user",password="passwd",auth='LDAP',configuration={'hive.auto.convert.join':' false','mapred.mappers.tasks':'25','mapred.job.shuffle.input.buffer.percent':'0.50','mapreduce.map.memory.mb':'12000','mapreduce. reduce.memory.mb':'12000','mapred.reduce.child.java.opts':'-Xmx12000m','mapred.map.child.java.opts':'-Xmx12000m','hive.exec. reducers.bytes.per.reducer':'104857600','hive.optimize.skewjoin':'true'})