apache-spark - Pyspark 读取 csv - NameError: name 'spark' is not defined

Question

我正在尝试在 databricks 中运行以下代码，以调用 spark 会话并使用它来打开 csv 文件：

spark
fireServiceCallsDF = spark.read.csv('/mnt/sf_open_data/fire_dept_calls_for_service/Fire_Department_Calls_for_Service.csv', header=True, inferSchema=True)

我收到以下错误：

NameError:name 'spark' is not defined

知道可能出了什么问题吗？

我也尝试过运行：

 from pyspark.sql import SparkSession

但得到以下回应：

ImportError: cannot import name SparkSession

如果有帮助，我将尝试遵循以下示例（如果您从 17:30 开始观看，您会更好地理解）： https ://www.youtube.com/watch?v=K14plpZgy_c&list=PLIxzgeMkSrQ-2Uizm4l0HjNSSy2NxgqjX

Answer 1

我通过使用以下导入使其工作：

from pyspark import SparkConf                                                                                                                 
from pyspark.context import SparkContext                                                                                                      
from pyspark.sql import SparkSession, SQLContext

我通过查看 pyspark 代码得到了这个想法，因为我发现 read csv 在交互式 shell 中工作。

Answer 2

请注意，您使用的示例代码适用于 Spark 版本 2.x

“spark”和“SparkSession”在 Spark 1.x 上不可用。您收到的错误消息指向可能的版本问题 (Spark 1.x)。

检查您使用的 Spark 版本。