scala - SparkContext textFile 的 InputPath 语法

Question

请告诉我如何textFile()使用SparkContext指定输入路径。像下面这对我不起作用。

sc.textFile("hdfs://localhost:54310/home/myFiles/sampleFile")

其中，54310 是指定的端口号core-site.xml

Answer 1

只是一个简单的错误。我们在 Spark Context 中加载的文件需要扩展名

sc.textFile(hdfs://localhost:54310/home/myFiles/sampleFile.txt")