问题标签 [apache-nifi]

升级 Apache Nifi 实例的任何提示？我们在想我们会做类似以下的事情：

1. 将最新的 Nifi 版本部署到我们正在运行的实例中。
2. 将任何自定义 NAR 部署到更新版本。
3. 确保耗尽现有的 Nifi 实例。
4. 关闭当前的 Nifi 实例。
5. 启动新的 Nifi 实例

我有 csv 日志文件，我将其转换为 GeoJSON，ogr2ogr然后运行sed以清理 elasticsearch。具体来说：

我想在 NiFi 中运行这些命令，但我没有任何运气配置 ExecuteProcess。

我目前正在编写 ElasticSearch Nifi 处理器。对 ES 的单独插入/写入不是最优的，而是首选批处理文档。在 Nifi 处理器中跟踪（批处理）文档（FlowFiles）以及何时以一定数量将它们批处理的最佳方法是什么？我最关心的部分是ES不可用、宕机、网络分区等导致批处理无法成功。问题的主要观点是，Nifi 具有用于排队/背压等的内容存储。是否有一种首选方法可以使用它来确保在目的地关闭时不会丢失 FlowFiles？也许我应该以另一个处理器为例？

我查看了 Mongo 处理器、Merge 等，试图了解在处理器内部进行批处理的首选方法，但似乎找不到任何具体的东西。任何建议，将不胜感激。

很有可能我忽略了 Nifi 中的一些基本功能。我对这个平台还是很陌生。

谢谢！

我有一个使用 Apache NiFi 接收器的 Spark Streaming Scala 项目。这些项目在 Eclipse/Scala IDE 下运行良好，现在我想打包它以进行部署。当我将其添加为

sbt 假定它是一个 Scala 库并尝试解决它。

如何将 NiFi 接收器及其所有依赖项添加到项目的 SBT 文件中？

另外，是否可以将依赖项添加到本地目录而不是 sbt 尝试解决？

提前致谢。

这是我的 sbt 文件内容：

Apache NIFI“ExecuteSQL 处理器”能否以块的形式流式传输大量选择结果，例如“x”MB？

我即将将来自 Apache NiFi 的推文作为 POST 索引到 Elasticsearch，并希望执行以下操作：

1. 将create_at字段设为日期。我应该为此使用映射或索引模板吗？

2. 使某些字段不分析。像主题标签、URL 等。

3. 想要存储的不是整个推文，而是一些重要的字段。像文本一样，不是所有的用户信息，而是一些字段、主题标签、来自实体的 URL（在帖子 URL 中）。不需要引用的来源。等等在这种情况下我应该使用什么？模板？使用一些 ETL 过程对推文进行预处理，以便提取我需要的数据并在 ES 中编制索引？

我有点困惑。将非常感谢建议。

提前致谢。

我想使用 MergeContent 处理器合并推文以批量插入 Elasticsearch 索引。为此，我需要用 \n 分隔命令和推文（每个）。这就是它的样子

这将是

当我将 \n 作为分隔符时，处理器实际上将 \n 添加为字符串而不是换行符。是否有可能使它成为真正的新线？也可以留下或使页脚为空吗？

提前致谢。

GetTwitter 处理器返回最后带有 \r\n (\0D\0A) 的流文件。我正在构建 Elasticsearch 批量插入文件（使用 MergeContent 处理器），需要将 \r\n 替换为 \n (\0A)。否则我会从 ES 收到错误消息。我正在考虑使用 ReplaceText 处理器，但不确定将什么用作搜索和替换参数。

提前致谢。

我正在将 Apache NiFi 的 OkHttp 版本从 2.5 更新到 2.6。这样做时，所有 HTTPS 测试都会失败，并出现以下异常：

测试使用 Jetty 服务器周围的包装器作为它连接到的主机。主机和客户端的信任库和密钥库相同。由于某种原因，从 2.5 到 2.6 的更改导致服务器提前关闭。

我唯一要改变的是 maven 中的 OkHttp 版本从 2.5 到 2.6。测试类在这里（实现在TestInvokeHttpCommon）： https ://github.com/apache/nifi/blob/8c2323dc8d0e107f1a99898370c7515fa9603122/nifi-nar-bundles/nifi-standard-bundle/nifi-standard-processors/src/test/ java/org/apache/nifi/processors/standard/TestInvokeHttpSSL.java

是否有在调用之间保留/保存处理器状态的机制？特别是我想要一个可靠的机制来知道我的进程上次运行的时间，即使处理器，甚至 NiFi 本身已经重新启动。

（请不要给出hBase或文件系统之类的答案。我正在寻找NiFi提供的东西，或者可以使用NiFi提供的服务构建的东西）