0

我正在使用 Pig 0.12 和 YARN 2.2 之上的 pig 脚本处理连接的 bz2 文件,并收到以下错误消息:

ERROR: java.io.IOException: Encountered additional bytes in the filesplit past the crc block. Loading of concatenated bz2 files is not supported

我认为 YARN 2.2 应该修复连接的 bz2 文件处理 ( https://issues.apache.org/jira/browse/HADOOP-6835 ) 但还没有?还是 Pig 自己处理 bzip2 文件而不是依赖底层 MapReduce 框架,还是我需要设置一些参数?

4

0 回答 0