hadoop - 在 Apache pig 中读取压缩 (.xz) 文件

Question

我正在尝试 使用 pig 脚本读取使用hadoop-xz编解码器压缩的 .xz 文件。

我尝试的示例代码是，

REGISTER hadoop-xz-1.4.jar
SET output.compression.enabled true;
SET output.compression.codec io.sensesecure.hadoop.xz.XZCodec;

msg = LOAD 'pigtest/newXZ.xz' USING PigStorage();
STORE msg INTO 'pigtest/output' USING PigStorage();
DUMP msg;

结果仍然是压缩格式。我做错了还是我必须XZInputStream在猪里面使用？

运行环境为 HortonWorks Sandbox 2.2 (Hue)

Answer 1

取决于你想做什么。

似乎您想读取 XZ 文件，所以我假设您需要设置输入编解码器而不是输出编解码器。

我不是 PIG 用户，但据我所知，它无法轻松处理自定义压缩（例如，与 Hive 和 Streaming 不同）。