csv - Nifi：检查 CSV 文件的行更新，然后摄取

Question

通常在我们的环境中，当有人要摄取新数据时，他们会生成一个新的 CSV 文件，Nifi 将从 SFTP 中获取该文件。但是，我有一个新案例，其中源的 CSV 文件位于共享驱动器上，并且当有更新时，他们的应用程序会向其中添加新行。

Nifi 有没有办法在添加新行时监控这个 CSV 文件？并且它随后可以只摄取新数据吗？我认为关系数据库有类似的东西，但我还没有看到文件有类似的东西。提前致谢。

Answer 1

试试这个TailFile处理器。如果行总是附加到末尾（我怀疑是这种情况），那么取决于它的计划方式（以及一次添加多少行）TailFile 应该输出每个流文件一行或每个流文件的行数. 在任何一种情况下，您都会有一个新行流。