scala - spark parquet - 如何加载 LZO 压缩的 parquet 文件

Question

我在本地保存了镶木地板文件，由以下方式加载：

val catDF = sqlContext.read.parquet("data.lzo.parquet") 

它识别架构，但每个查询或操作都返回相同的以下错误：

parquet.io.ParquetDecodingException：无法读取块 -1 中 0 处的值

Answer 1

将镶木地板文件加载为数据框就像您所说的那样简单

val catDF = sqlContext.read.parquet("data.parquet") 

您上面的代码应该可以工作。请检查拼花位置是否正确

Answer 2

LZO (parquet) 压缩问题，解决了向 sbt 配置添加依赖：

libraryDependencies ++= Seq("org.anarres.lzo" % "lzo-hadoop" % "1.0.0")

希望对某人有用。