apache-pig - 将pig作业的输出存储到从数据派生的目录结构中

Question

我想实现以下目标：

我的输入数据如下所示

{"metadata":
{
"producerName":"capture_api",
"producerVersion":"3.0.13"
},
"payload":
{
--some payload 
}
}

我想使用 pig 脚本存储这些数据，如下所示

/finalOutputDir/producerName/producerVersion/File.txt

有没有办法我可以做到这一点。我曾尝试使用 MultiStorage 函数，但该类仅支持一个字段。我可以覆盖多级内的功能，但只是想检查是否有更简单的选项。

Answer 1

piggybank MultiStorage可以通过一个（只有一个？）字段将数据分成多个文件夹。

STORE data INTO '$out/$producerName' USING org.apache.pig.piggybank.storage.MultiStorage('$out/$producerName', '0', 'none', ',');