apache-spark - 不完整的 HDFS URI，没有主机，altohugh 文件确实存在

Question

我正在尝试使用以下代码通过 pyspark 访问我在 hdfs 中的文件：

spark = SparkSession.builder.appName("MongoDBIntegration").getOrCreate()
receipt = spark.read.json("hdfs:///bigdata/2.json")

我得到一个错误Incomplete HDFS URI, no host: hdfs:///bigdata/2.json

但是如果我写命令hdfs dfs -cat /bigdata/1.json它会打印我的文件

Answer 1

错误消息表明您没有在 HDFS URI 中指定主机。

尝试使用以下命令更改 URI：

hdfs://<HDFS_HOST>:<HDFS_PORT>/bigdata/2.json