我有一个项目，我在其中计算帐户的各种数据并将每个数据保存在不同的文件中（每个计算都有不同的脚本）。然后，我需要创建最终文件，它将一个帐户的所有数据组合在一起。一种方法是将每个输出保存在不同的目录中，然后在最终脚本中使用模式加载每个目录，按帐户加入（或共同组）并打印。这里的问题是我需要告诉猪要加载哪些目录。我想制作一个更通用的脚本，以便轻松添加更多计算，因此我创建了一个父目录并将所有输出保存在该目录下（在子目录中）。然后我写了这个脚本
attributes_data= load '$attributes_data' using CSVLoader;
union_data= group attributes_data by TRIM ($0);
final_output= foreach union_data generate
FLATTEN(Merge_Bags(attributes_data));
store order_data into '$final_attr' using AttributesStorer;
这样，我不需要告诉 pig 他应该加载哪些文件，它只需加载我的输出目录下的所有子目录。这里的问题是group by后包中元组的顺序不一致，所以我的最终结果没有一致的顺序，这是一个问题。
我真的很欣赏您的想法，以使脚本尽可能通用，同时在最终结果中保存一些数据顺序。