我必须在 parquet 文件上处理两个 map-reduce 程序
1）根据某些条件从 parquet 文件中识别少量记录并将它们的行号或某些唯一标识保存到一个地方
2）第二个 mapreduce 将需要读取这些唯一编号并从镶木地板文件中跳过这些记录
有没有什么机制，我可以从 parquet 创建一个唯一可区分的行 num
问问题
21 次
我必须在 parquet 文件上处理两个 map-reduce 程序
1）根据某些条件从 parquet 文件中识别少量记录并将它们的行号或某些唯一标识保存到一个地方
2）第二个 mapreduce 将需要读取这些唯一编号并从镶木地板文件中跳过这些记录
有没有什么机制，我可以从 parquet 创建一个唯一可区分的行 num