我目前正在编写 ElasticSearch Nifi 处理器。对 ES 的单独插入/写入不是最优的,而是首选批处理文档。在 Nifi 处理器中跟踪(批处理)文档(FlowFiles)以及何时以一定数量将它们批处理的最佳方法是什么?我最关心的部分是ES不可用、宕机、网络分区等导致批处理无法成功。问题的主要观点是,Nifi 具有用于排队/背压等的内容存储。是否有一种首选方法可以使用它来确保在目的地关闭时不会丢失 FlowFiles?也许我应该以另一个处理器为例?
我查看了 Mongo 处理器、Merge 等,试图了解在处理器内部进行批处理的首选方法,但似乎找不到任何具体的东西。任何建议,将不胜感激。
很有可能我忽略了 Nifi 中的一些基本功能。我对这个平台还是很陌生。
谢谢!