8

我正在使用 Apache Spark 2.1.1，并将以下 hive-site.xml 放在$SPARK_HOME/conf文件夹中：

<?xml version="1.0"?>
<configuration>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://mysql_server:3306/hive_metastore?createDatabaseIfNotExist=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
  <description>username to use against metastore database</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>password</value>
  <description>password to use against metastore database</description>
</property>
<property>
  <name>hive.metastore.schema.verification</name>
  <value>false</value>
  <description>password to use against metastore database</description>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>${test.tmp.dir}/hadoop-tmp</value>
  <description>A base for other temporary directories.</description>
</property>
<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>hdfs://hadoop_namenode:9000/value_iq/hive_warehouse/</value>
  <description>Warehouse Location</description>
</property>
</configuration>

当我启动 thrift 服务器时，metastore 模式是在我的 MySQL 数据库上创建的，但没有使用，而是使用了 Derby。

在 thrift 服务器日志文件上找不到任何错误，唯一引起我注意的是它首先尝试使用 MySQL（INFO MetaStoreDirectSql: Using direct SQL, underlying DB is MYSQL），但随后没有任何错误，而是使用 Derby（INFO MetaStoreDirectSql: Using direct SQL, underlying DB is DERBY）。这是 thrift 服务器日志https://www.dropbox.com/s/rxfwgjm9bdccaju/spark-root-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-s-master.value-iq.com。出?dl=0

我的系统上没有安装 Hive，我只是假装使用 Apache Spark 的内置 Hive。

我正在使用mysql-connector-java-5.1.23-bin.jar位于$SPARK_HOME/jars文件夹中的哪个。

4

1 回答 1

4

正如 hive-site.xml 中显示的那样，您尚未设置要连接的元存储服务。因此，spark 将使用默认的本地 Metastore 服务和 derby DB 后端
我为了使用以 MySQL DB 作为后端的 Metastore 服务，您必须：

  1. 启动元存储服务。您可以在这里查看如何启动服务配置单元 Metastore 管理手册。您使用相同的 hive-site.xml 使用 MySQL DB 的后端启动 Metastore 服务，并添加以下行以在端口 XXXX 上的 METASTORESERVER 上启动 Metastore 服务：

    <property>
  <name>hive.metastore.uris</name>
  <value>thrift://METASTRESERVER:XXXX</value>
</property>

  2. 让 spark 知道 metastore 服务从哪里开始。这可以使用您在启动 Metastore 服务时使用的相同 hive-site.xml 来完成（添加上面的行）将此文件复制到 Spark 的配置路径中，然后重新启动您的 spark thrift 服务器

于 2017-07-31T11:08:27.300 回答