scala - EC2 上的 Spark：如何读取 LZO 压缩的镶木地板文件

Question

我想阅读一个用 lzo 算法压缩的镶木地板文件。让我们假设运行一个 spark-shell（在基于 ec2 的 spark 集群中，使用 ec2-script 构建）并将以下代码放入其中：

val hadoopConf = sc.hadoopConfiguration
hadoopConf.set("fs.s3.impl", "org.apache.hadoop.fs.s3native.NativeS3FileSystem")
hadoopConf.set("fs.s3.awsAccessKeyId", "myaccesskey")
hadoopConf.set("fs.s3.awsSecretAccessKey", "mysecretaccesskey")

val parquetFile = spark.read.parquet("s3://path/to/my/parquet/lzo/file")
parquetFile.first()

我收到此异常：

Caused by: java.lang.ClassNotFoundException: Class com.hadoop.compression.lzo.LzoCodec not found.

我也遵循了本指南，但错误仍然相同。建议？