hadoop - hdfs：在 sparkR shell 中读取 parquetfile 时没有此类文件或目录错误

Question

我想从 hdfs 系统中读取 sparkR shell 中的 parquetFile。所以我这样做：

./sparkR --master yarn-client

 sqlContext <- sparkRSQL.init(sc)
 path<-"hdfs://year=2015/month=1/day=9"
 AppDF <- parquetFile(sqlContext, path)

错误：No such file or directory

但是这个文件确实存在于hdfs系统中。当我将此代码包装在 R 文件中时，如 dataframe.R 并运行./spark-submit --master yarn ~/dataframe.R 1000. 它运作良好。所以我认为问题是通过 sparkR shell 在 yarn-client 上运行的。任何人都可以帮助解决这个问题吗？

我正在使用 spark-1.4.0-bin-hadoop2.6

Answer 1

我不确定这是否会有所帮助。您可能需要添加完整路径，包括 defaultFS 的主机名和端口，例如

path<-"hdfs://localhost:9000/year=2015/month=1/day=9"