apache-nifi - 来自 SplitRecord 处理器 Nifi 的运行记录数

Question

有没有办法从 SplitRecord 处理器 Nifi 获取片段索引？我将一个非常大的 xls（4 个磨坊记录）拆分为“每个拆分的记录”= 100000。

现在我只想处理前 2 个拆分，以查看文件的质量并拒绝文件的其余部分。

我可以看到片段索引在其他拆分功能（例如 JsonSplit）中，但不在记录拆分中。还有其他黑客吗？

Answer 1

方法1：

通过使用控制率处理器，我们可以实现这种情况

控制速率处理器：

通过这个配置，我们每分钟发布 2 个流文件，并且

流动：

将队列过期时间配置为 10 秒（如果需要，可以设置更短的数字），然后流文件将在队列中过期，但前 2 个流文件将被释放。

方法2：

通过使用 SplitText 处理器，然后使用 RouteOnAttribute 处理器并将新属性添加为

${fragment.index:le(2)}

通过使用上述表达式语言，我们只允许前 2 个片段索引。

请参阅此链接以在 NiFi 中拆分大文件。