0

我在本地 Windows 机器上运行 spark。当我将 master 设置为本地时，它工作得非常好，但是当我给它一个集群 master uri 时，它会为它启动的每个执行程序抛出以下异常。
17/10/05 17:27:19 INFO StandaloneAppClient$ClientEndpoint: Executor updated: app-20171005172719-0006/0 is now FAILED (java.lang.IllegalStateException: Library directory 'C:\Spark\bin\.\assembly\target\scala-2.10\jars' does not exist; make sure Spark is built.)

我正在本地尝试 spark 独立环境。所以我已经启动了一个主节点和工作节点，并将主 url 提供给我的驱动程序。我确保我的SPARK_HOME环境变量设置为C:\Spark（我放置火花的位置）。

解决此问题的任何帮助将不胜感激，谢谢。

4

1 回答 1

0

我以某种方式设法找到了解决此问题的方法。该问题是由 spark home 的路径变量引起的，当我添加路径变量时它没有选择SPARK_HOME（环境变量）%SPARK_HOME%\bin。然后我删除了该环境变量和路径变量，再次添加它们并重新启动我的系统。有效。

于 2017-10-06T05:52:40.450 回答