parquet - 导入文件时，将其读取为 CSV 并导致数据乱码

Question

使用 Spark2（在 Linux 7.2 下的 CDH 5.13 下）运行 sparkling-shell（尝试过的版本 2.2.2 - 2.2.6）。CSV 和 ZIP 文件可以正常导入，但是当我尝试导入 Parquet 文件时，它会将其读取为 CSV 并导致数据乱码。

有人有什么建议吗？

尚卡尔

Answer 1

苏打水 2.2.7 似乎效果更好。但是，它正在为解析器寻找“h20.jar”文件。因此，安装了最新版本的 h2o，然后在启动 spark-shell 时修改了“sparkling-shell”脚本以包含 h2o.jar 文件。

尚卡尔。