0

我正在尝试从安装在本地计算机上的 Intellij 中的 spark 程序连接到远程配置单元。

我将 hadoop 集群配置文件放在本地机器上，并在 Intellij 运行此 spark 程序的配置中配置了环境变量 HADOOP_CONF_DIR，以便能够检测到此 hadoop 集群，但 intelliJ 不知何故没有读取这些文件，并且 spark 程序默认为本地配置单元元存储实例。

无论如何配置intelliJ以在本地读取hadoop配置文件。非常感谢任何帮助。

4

2 回答 2

0

请配置 SPARK_CONF_DIR 变量并将 hive-site.xml 复制到该目录中。Spark 将连接指定的 hive 元存储并确保 hive-site.xml 指向您的集群详细信息。

谢谢拉维

于 2018-02-14T15:51:32.557 回答
0

将 hadoop 配置文件文件夹添加到 intellij 项目类路径

项目设置 -> 库 -> + -> java -> 选择包含所有配置文件的文件夹 ->类

于 2018-09-06T00:05:33.820 回答