0

这是我通过 UI 在 Dataproc 中作为 PySpark 作业提交的文件

# Load file data fro Google Cloud Storage to Dataproc cluster, creating an RDD
# Because Spark transforms are 'lazy', we do a 'count()' action to make sure 
#     we successfully loaded the main data file
allFlt = sc.textFile("gs://mybucket/mydatafile")
allFlt.count()
# Remove header from file so we can work w data ony   
header = allFlt.take(1)[0]
dataOnly = allFlt.filter(lambda line: line != header)

它开始，然后出错

allFlt = sc.textFile("gs://thomtect/flightinfo")
NameError: name 'sc' is not defined

为什么是这样？Dataproc 不应该已经建立了火花上下文吗？我需要在我的代码中添加什么以便将其作为 Spark 命令接受

4

1 回答 1

3

https://cloud.google.com/dataproc/submit-job有一个示例 python spark 作业提交。

简短的回答是将以下内容添加到脚本的顶部：

#!/usr/bin/python
import pyspark
sc = pyspark.SparkContext()

并进一步说明为什么需要这样做：当 Dataproc 运行 python 脚本时，它使用 spark-submit ( http://spark.apache.org/docs/latest/submitting-applications.html ) 而不是运行 pyspark shell。

于 2016-02-11T01:57:03.833 回答