5

运行基本的 df.show() 后火花笔记本安装

运行 scala - spark-notebook 上的 spark 代码时出现以下错误。知道何时发生这种情况以及如何避免？

[org.apache.spark.repl.ExecutorClassLoader] Failed to check existence of class org.apache.spark.sql.catalyst.expressions.Object on REPL class server at spark://192.168.10.194:50935/classes
[org.apache.spark.util.Utils] Aborting task
[org.apache.spark.repl.ExecutorClassLoader] Failed to check existence of class org on REPL class server at spark://192.168.10.194:50935/classes
[org.apache.spark.util.Utils] Aborting task
[org.apache.spark.repl.ExecutorClassLoader] Failed to check existence of class
4

1 回答 1

2

我在本地安装了 spark，当我使用以下代码时，它给了我同样的错误。

spark.read.format("json").load("Downloads/test.json")

我认为问题在于，它试图找到一些主节点并获取一些随机或默认 IP。我指定了模式，然后提供了 IP 127.0.0.1，它解决了我的问题。

解决方案

使用本地主机运行火花

usr/local/bin/spark-shell --master "local[4]" --conf spark.driver.host=127.0.0.1'
于 2019-09-04T01:52:22.877 回答