我正在使用带有 Scala 2.11 的 spark-core 版本 2.0.1。我有简单的代码来读取具有 \ 转义的 csv 文件。
val myDA = spark.read
.option("quote",null)
.schema(mySchema)
.csv(filePath)
根据文档 \ 是 csv 阅读器的默认转义。但它不起作用。Spark 正在读取 \ 作为我数据的一部分。例如： csv 文件中的 City 列是north rocks\,au。我期望 city 列应该在代码中读取为northrocks,au。但是 spark 将其读取为northrocks\并将au移动到下一列。
我试过以下但没有奏效：
- 明确定义的转义 .option("escape","\")
- 将转义更改为 | 或：在文件和代码中
- 我试过使用 spark-csv 库
任何人面临同样的问题？我错过了什么吗？
谢谢