问题标签 [apache-minifi]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
76 浏览

logging - 如何将虚拟机上的 MiNifi 连接到远程 Nifi 实例并摄取日志数据?

我正在尝试通过 MiNifi 代理将日志文件跟踪到 Nifi。我已经使用二进制文件在不同的虚拟机中安装了 Nifi 和 MiNifi 代理。

Nifi - https://nifi.apache.org/download.html MiNifi - https://nifi.apache.org/minifi/download.html

我在安全属性下引用了 nifi.sensitive.props.key 和 nifi.sensitive.props.algorithm 并相应地更改了 $NIFI_HOME/conf/nifi.properties。

在我创建了一个新的进程组并在进程组内之后,创建了远程进程组(RPG)并为其提供了 NiFi 实例的 URL。然后我添加了一个 TailFile 处理器并将其配置为读取安装了 MiNifi 代理的虚拟机的日志文件。

然后我连接了 TailFile 处理器和远程进程组。

我选择了所有组件并创建了要下载的模板。下载模板后,将 xml 模板从 minifi-toolkit 转换为相应的 YML 文件。

最后,我将生成的 config.yml 文件替换为 $MINIFI_HOME/conf/config.yml 并替换了敏感道具。我将端口和主机添加到 config.yml 的输入端口部分末尾的属性部分。

配置并重新启动 Nifi 和 MiNifi 代理后,我在 TailFile 处理器中收到以下提到的错误。

“19:43:53 UTC 错误 TailFile[id=1678ea6e-017c-1000-618b-6b4652c181a6] 无法正确初始化处理器。如果仍计划运行,NiFi 将尝试在“管理产量持续时间”后再次初始化并运行处理器' 已经过去。失败是由于 java.io.FileNotFoundException: /mnt/spring-petclinic/logs/app.log (没有这样的文件或目录): java.io.FileNotFoundException: /mnt/spring-petclinic/logs/app .log(没有这样的文件或目录)”

TailFile 处理器仍在寻找 Nifi 安装的虚拟机文件路径。我需要跟踪我的文件并从安装了 MiNifi 代理的虚拟机中摄取日志。

关于为什么会发生这种情况的任何想法?任何想法或链接都会有很大帮助。

提前感谢您的反馈。

0 投票
0 回答
50 浏览

apache-nifi - Apache MiNifi [org::apache::nifi::minifi::utils::HTTPClient] [error] curl_easy_perform() failed 超时

我已经在 kubernetes 上部署了 Apache Nifi 和 MiNifi 代理。我使用 AlexsJones/nifi Helm 图表来部署 Nifi ( https://github.com/AlexsJones/nifi ),并且我使用了一些清单文件来部署 MiNifi 代理。在我使用远程进程组、输入端口、尾文件进程创建数据流并从 Nifi 仪表板导出模板之后。

在此处输入图像描述


在此处输入图像描述 我使用 Configmap 在 MiNifi 代理中用 config.yml 替换了模板 yml 文件。Nifi集群中有3个节点,分别是nifi-0、nifi-1、nifi-2。当我检查 MiNifi 代理日志时。

这里我提到了 Pod 内的 nifi.properties 配置。

感谢您是否可以针对以下错误提出解决方案。

我从另一个 Nifi 实例尝试了另一个 MiNifi 代理模板。(不在 Kubernetes 中)那时 MiNifi 代理工作正常,它也将日志数据摄取到 Nifi 的输入端口。Nifi 部署似乎有问题。我需要更改 nifi.properties 中的任何配置吗?我尝试使用 configmap 更新# Site to Site 属性部分中的nifi.remote.input.host=nifi-1属性。Configmap 已成功创建,但在初始化 pod nifi.remote.input.host值后被节点名称覆盖。(nofi-0/nifi-1/nifi-2

0 投票
1 回答
59 浏览

mysql - 当 Nifi 在 Kuberntes pod 上运行时,如何在 Nifi 进程中配置数据库驱动程序位置

我已经使用cetic/helm-nifi helm chart 在 Kubernetes 上部署了 Nifi。PutDatabaseRecord我必须使用进程将日志数据插入 MySQL 数据库。为此,在PutDatabaseRecord进程内部,我必须配置数据库连接 URL、数据库驱动程序类名称和数据库驱动程序位置。

在此处输入图像描述

作为数据库驱动程序位置,我在 pod 内下载了连接器 jar ( ),并在进程https://dev.mysql.com/downloads/connector/j/内配置了 MySQL 连接器 jar 文件的位置。PutDatabaseRecord这样,如果 pod 正在重新启动,我必须再次在 pod 内手动下载连接器。不推荐这样做。感谢您是否可以为此提出解决方案。

0 投票
2 回答
39 浏览

kubernetes - 重新启动 Kuberntes pod 时如何备份 nifi 进程

我已经使用cetic/helm-nifi helm chart 在 Kuberntes 上部署了 Nifi。我们面临一个问题,如果 nifi pod 重新启动,我们将丢失我们创建的所有进程。有什么方法可以在 nifi 画布中保留该过程的备份。感谢您是否可以为此提出解决方案。