问题标签 [apache-minifi]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
51 浏览

apache-nifi - 无法在 minifi 上将数据流转换为 yml

我在 Windows 机器上有Minifi 。但是,我无法使用

config.bat 转换命令。

我得到错误:

错误:无法找到或加载主类 Files\minifi-0.5.0-bin\minifi-toolkit-0.5.0\bin..\lib*

我不确定这意味着什么。谢谢

0 投票
1 回答
198 浏览

https - MINIFI CPP 无法调用 HTTPS

我尝试使用 MINFI CPP 执行一个简单的流程。

现在我创建一个随机数并尝试使用invokehttp将它推送到rest-api

在 nifi 中它工作得很好,但在 minifi 中它给了我以下错误:

我想念什么?任何提示?

谢谢

斯蒂芬

0 投票
1 回答
1130 浏览

bigdata - NiFi 内存管理

我只是想了解我们应该如何规划 NiFi 实例的容量。

我们有一个 NiFi 实例,它有大约 500 个流。因此,在 NiFi 画布上启用的处理器总数约为 4000。我们确实同时运行 2-5 个流,这不会超过半小时,即我们以 MB 为单位处理数据。

到目前为止它工作正常,但我们经常看到 outofMemory 错误。所以我们将 xms 和 xmx 参数从 4g 增加到 8g,这已经解决了现在的问题。但展望未来,我们将有更多的流量,我们可能会再次面临内存不足的问题。

那么,任何人都可以提供容量规划矩阵或任何建议来避免此类问题发生之前吗?例如:- 如果我们启用了 3000 个处理器,有/没有任何处理,则需要 Xg 数量的内存。

任何有关 NiFi 容量规划的意见将不胜感激。

提前致谢。

0 投票
1 回答
720 浏览

apache-nifi - MiNiFi-Tutorial 失败,工具包错误:Connection with id ... has invalid destination id

我遵循了本教程:MiNiFi 入门

因此,input port在我的根进程组和 MiNiFi 进程组中有一个。,MiNiFi Process Group包含 a Tail File Processor, aRemote Process Group和它们之间的连接。

MiNiFi Process Group我保存模板之后,我从模板列表下载它并运行命令:

但它失败并说:

我重新创建了所有内容,但问题仍然存在。

这是我的模板:

这是工具包的结果:

0 投票
2 回答
552 浏览

apache-nifi - Apache NiFi 进程间通信

为了分离逻辑,简化主要流程并重用处理器组,我正在寻找在 Apache NiFi 中实现进程间通信逻辑的东西。

到目前为止,我唯一能找到的是在主要流程中使用 InvokeHTTP 并在组中使用 HandleHTTPRequest/Response 对。但是,开放的 HTTP 端口过多可能会导致安全问题。有没有更好的方法来做同样的事情,即将流文件和属性路由到所需的处理器,然后返回?如果没有,我认为在 NiFi 中内置路由/拦截流处理器会很有帮助。

PS。我知道我可以将一个组变成一个模板并在流程中使用它,在这种情况下我不想这样做。我希望能够在多个流程中使用相同的逻辑。

0 投票
1 回答
311 浏览

apache-nifi - 为 miNifi 开放的端口

我在一台服务器上有一个 Nifi 集群,在另一台服务器上有一个 miNifi。

我必须在双方打开端口以允许通信(HTTP)。

在 Nifi 集群上,我打开了 8443,因为它是运行 UI 的 https 端口。

在 miNifi 上,我不知道需要打开哪些端口,在我看来,在 miNifi 实例开始时会选择一个随机端口。如果我是对的,有没有办法设置这个端口?否则我该如何进行?

谢谢您的帮助!

0 投票
1 回答
369 浏览

apache-nifi - 如何配置安全的 Minifi-C++ 实例以从安全的 C2 服务器中提取?

我在将Minifi-c++实例连接到C2 (Command&Control) 服务器时遇到问题。

我已经设置了一个安全的 Nifi 实例,并且我已经成功设置了一个 Minifi-c++ 实例和一个 minifi-C2,它们都直接连接到 Nifi 实例。

我已经验证手动配置的 Minifi 正确地通过 S2S 发送。

我还验证了 C2 服务器可以提供配置的模板(至少当请求是从具有正确凭据的浏览器完成时)。

现在我已经放弃了所有连接/网络和身份验证问题,唯一剩下的就是启用 Minifi 中的 c2 配置选项。

Minifi 实例因反气候而失败

在 C2 服务器上注册的唯一内容是

每次心跳出现一次

我的 Minifi 实例正在正确识别自己,并且已提供适当的授权

我错过了什么?

0 投票
1 回答
197 浏览

apache-nifi - 保护 minifi c++ 代理免受远程 NIFI

我有一个远程 3 节点安全 NIFI 服务器,我想通过 MINIFI C++ 代理向它发送一些数据。我正在尝试了解为 MINIFI(客户端)生成和签署证书的机制,但我无法找到详细的文档。

我看到以下配置:

但是如何生成 client.pem 并签名呢?

编辑:这是我试图做的(自签名),但这失败了:

0 投票
0 回答
527 浏览

apache-nifi - NGINX 代理背后的 NiFi 远程进程组 未经授权/匿名

我让 Nifi 在 NGINX 反向代理后面运行。两者都是码头集装箱。我正在使用远程进程组为 MINIFI 开发流程。将来,MINIFI 有望通过代理访问远程进程组。如果我使用 https://nifi:8443/nifi 之类的 URL(没有代理),我的远程进程组可以完美运行。一旦我尝试将 nifi.example.local 与端口 7443 或 8443 一起使用,它就会中断。GUI中的远程进程组说

nifi-user.log 说

所以似乎身份信息以某种方式没有通过代理。我可能在我的 nginx.conf 中破坏了一些东西,但现在它看起来像:

nifi.properties 看起来像:

您能否建议可能是什么原因以及如何解决问题。

0 投票
0 回答
30 浏览

apache-nifi - Minifi C2服务器连接nifi获取模板出错

当我运行此链接时:http//localhost:10080/c2/config?class=raspi3 能够获取此路径中存在的 config.yml 文件:\minifi-c2-0.4.0\files\raspi3 这是默认的一个!但是当我尝试从 Nifi 获取新模板时,出现以下错误:

在此处输入图像描述 谁能告诉 c2 服务器如何从 nifi 获取模板,它会在此路径 (\minifi-c2-0.4.0\files) 中创建一个文件夹来存储 config.yml 文件吗?