apache-pig - 使用自定义等级在 PIG 中生成代理键

Question

我将每天进行 PIG 转换（每天都有新数据）。而且我需要为每天提取的数据生成唯一键。什么是最好的方法？如果我执行 tomarow 的排名会覆盖今天的排名吗？

Answer 1

每次启动时，您的排名将从 1 开始。如果您想每天生成唯一数据，我建议在 concat(rank + date) 上使用 datafu 哈希方法。您最终会得到一个可以用作代理键的唯一哈希。

REGISTER datafu-1.2.0.jar
DEFINE SHA datafu.pig.hash.SHA();

S1 = LOAD 'surrogate_hash' USING PigStorage('|') AS (c1:chararray,date:chararray,c3:chararray);
S2 = RANK S1;
S3 = FOREACH S2 GENERATE SHA((chararray)CONCAT((chararray)rank_S1,date)),c1,date,c3;

dump S3;