我正在尝试查找有关该主题的方法的一些文档/描述,请提供帮助。我安装了 Hortonworks 的 Hadoop 2.2.0 和一些我需要查询的现有 Hive 表。Hive SQL 在单节点和集群上的运行速度也异常缓慢。我希望 Shark 能更快地工作。
从 Spark/Shark 文档中,我无法弄清楚如何让 Shark 与现有的 Hive 表一起工作。任何想法如何实现这一目标?谢谢!
我正在尝试查找有关该主题的方法的一些文档/描述,请提供帮助。我安装了 Hortonworks 的 Hadoop 2.2.0 和一些我需要查询的现有 Hive 表。Hive SQL 在单节点和集群上的运行速度也异常缓慢。我希望 Shark 能更快地工作。
从 Spark/Shark 文档中,我无法弄清楚如何让 Shark 与现有的 Hive 表一起工作。任何想法如何实现这一目标?谢谢!
您需要在特定于鲨鱼的配置单元目录中配置元存储。我在此处回答的类似问题中提供了详细信息。
总之,您需要将 hive-default.xml 复制到 hive-site.xml 。然后确保设置了元存储属性。
这是 hive-site.xml 中的基本信息
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://myhost/metastore</value>
<description>the URL of the MySQL database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>mypassword</value>
</property>
您可以在此处获取更多详细信息: 配置配置单元元存储