apache-spark - Spark 2.0 - Databricks xml阅读器输入路径不存在

Question

我正在尝试使用 Databricks XML 文件阅读器 api。

示例代码：

val spark = SparkSession
    .builder()
    .master("local[*]")
    .appName("Java Spark SQL basic example")
    .config("spark.sql.warehouse.dir", "file:///C:/TestData")
    .getOrCreate();
  //val sqlContext = new SQLContext(sc)
  val df = spark.read
    .format("com.databricks.spark.xml")
    .option("rowTag", "book")
    .load("books.xml")

    df.show()

如果我直接给出文件路径，它会寻找一些仓库目录。所以我设置了spark.sql.warehouse.dir选项，但现在它抛出输入路径不存在。

其实是在项目根目录下找的，为什么要找项目根目录呢？

Answer 1

最后它的工作..我们需要指定仓库目录以及在加载方法中传递绝对文件路径。我不确定仓库目录有什么用。

主要部分是我们不需要给出C:正如其他 Stackoverflow 答案所提到的那样。

工作代码：

val spark = SparkSession
    .builder()
    .master("local[*]")
    .appName("Java Spark SQL basic example")
    .config("spark.sql.warehouse.dir", "file:///TestData/")
    .getOrCreate();
  //val sqlContext = new SQLContext(sc)
  val df = spark.read
    .format("com.databricks.spark.xml")
    .option("rowTag", "book")
    .load("file:///TestData/books.xml")

    df.show()