scala - 哪个 jar 有 org.apache.spark.sql.types？

Question

我在 Spark 1.x 上，并试图读取 csv 文件。如果我需要指定一些数据类型，根据文档，我需要导入包org.apache.spark.sql.types中定义的类型。

import org.apache.spark.sql.types.{StructType,StructField,StringType};

当我在 spark-shell 中以交互方式使用它时，这很好用，但是因为我想通过 spark-submit 运行它，所以我编写了一些 Scala 代码来执行此操作。但是，当我尝试编译我的 Scala 代码时，它给了我一个错误，说它找不到 org.apache.spark.sql.types。我查找了 jar 的内容spark-sql，但找不到其中定义的这些类型。

那么，哪个 jar 有 org.apache.spark.sql.types？

Answer 1

我在 GitHub 上查看了 spark-sql 的源代码，发现这些类型可以在spark-catalyst jar 中找到。这似乎并不直观。

另外，由于StructType有这个代码

org.json4s.JsonDSL._

我们最终得到另一个依赖 jar - json4s-core。