apache-spark - 我正在使用 spark 1.4 并尝试使用压缩 snappy 保存为 orcfile，但它保存为 zlib

Question

这是我的代码：

val df=hiveContext.write.format("orc").options("orc.compression","SNAPPY").save(
"xyz")

但文件保存为 ZLIB。

Answer 1

您可以尝试将额外的配置“spark.io.compression.codec=snappy”添加到 spark-shell / spark-submit：

spark-shell --conf spark.io.compression.codec=snappy #rest of your command..

此外，要写入 ORC 格式（假设您使用的是 Spark >= 1.5），您可以使用：

myDf.orc("/some/path")

"orc" 方法与执行 '.format("orc").save("/some/path")' 完全一样。