2

我正在研究 Spark Streaming，我想设置一个本地目录以将数据流式传输到我的 spark 应用程序，以便该目录上的每个新文本文件都将流式传输到我的应用程序。我尝试使用StreamingContext'stextFileStream方法，但没有从已移动到指定本地目录的文件中获取任何数据。你能帮我找出为什么会这样吗？

所以这是我写的代码：

def main():

    if len(sys.argv) != 5:
    print 'Usage: SPARK_HOME/bin/spark-submit CoinpipeVectorBuilder.py <SPARK_HOME> <dir_streaming> ' \
          '<dir_crawled_addresses> <dir_output_vectors>'
    sys.exit(1)

    #Set the path to crawled outputs according to the parameter passed to the spark script
    global path_crawled_output
    path_crawled_output = sys.argv[4]

    global sc, ssc
    sconf = SparkConf().setMaster("local[2]")\
        .setAppName("CoinPipeVectorBuilder")\
        .set("spark.hadoop.validateOutputSpecs", "false")
    sc = SparkContext(conf=sconf)
    ssc = StreamingContext(sc, 10)
    tx_and_addr_stream = ssc.textFileStream(sys.argv[2])

    tx_and_addr_stream.foreachRDD(parseAndBuildVectors)

    ssc.start()
    ssc.awaitTermination()

if __name__ == "__main__":
    main()

因此，在 parseAndBuildVectors 中，即使我将一个新文件移动到我传递给的指定目录，我也没有得到任何数据ssc.textFileStream

4

1 回答 1

1

Spark 代码在工作中执行。因此，工作对您的本地文件系统没有任何访问权限。这是不可能的。您可以读取流文件然后制作RDD然后可以使用火花执行操作。Spark 只能访问分布式数据。

于 2015-02-26T07:42:08.760 回答