apache-spark-sql - SparkSQL 的 Airbnb 超集数据源配置

Question

我正在使用 Spark 1.6.2（来自 Datastax 企业版 => DSE 5.0.4）和 Python 2.7

当我给

from impala.dbapi import connect    
Conn = connect (host = '172.31.12.201', port = 7077, user = 'xxxx', password = 'xxxx1111', database = 'test_database', auth_mechanism = 'PLAIN') 

它只是挂起并且永远不会出现
spark master 在端口 7077 上的 172.31.12.201 运行

我在超集中的配置如下

SQLAlchemy URI => impala://172.31.12.201:7077/test_database
Extra => {
"metadata_params": {},
"engine_params": {"connect_args": {"user": "xxxx", "password": "xxxx1111"}} }

Answer 1

我必须启动 dse spark thrift 服务器，如下所示

dse -u <username> -p <password> spark-sql-thriftserver start

这将在端口 10000 上启动 DSE 集群中的配置单元服务器