apache-spark-sql - 在 PySpark 中读取 DataFrames、.csv 文件时。我收到此错误“未定义名称'spark'”

Question

rom pyspark
从 pyspark.context 导入 SparkConf
从 pyspark.sql 导入 SparkContext 导入 SparkSession，SQLContext

从 pyspark.sql.types 导入 *

df = spark.read.csv("/home/sourabh/Downloads/1535617931_LMS_DATA_1.csv",inferSchema=True, header=True) df.printSchema()

Answer 1

那是因为您在做之前没有创建任何 spark session 实例spark.read，您将必须创建一个 SparkSession 对象，并且可以像这样完成spark = SparkSession.builder().getOrCreate()这是定义它的非常基本的方法，您可以使用.config("<spark-config-key>","<spark-config-value>").