问题标签 [apache-minifi]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
247 浏览

java - Apache MiNiFi 与 jre-1.7 的兼容性

我正在研究 Minifi 和 Nifi 的集成。目前我正在使用 Minifi 版本-0.1.0(java - 1.8)。我尝试在具有 java-1.7 的服务器中使用 Minifi 0.1.0。但是当我尝试运行任何minifi 命令,例如:bin/minifi.sh 状态。但收到此错误:Java 主页:/usr/local/java/default MiNiFi 主页:/opt/minifi-0.0.1

我认为默认情况下 Minifi 已配置为使用 Java-1.8 运行

所以我也尝试了 Minifi(version-0.0.1),面临同样的问题。我想知道哪个minifi版本与jre-1.7兼容。

我将不胜感激任何答案。谢谢

0 投票
2 回答
518 浏览

apache - 如何在 Windows Apache Minifi 安装中获取 flowStatus

答案是否定的——但 Apache 团队正在根据下面的@apiri 答案开发此功能。

我有一个 Apache NiFi 服务器,用于从多个源(Windows/Linux)收集数据,我在其中设置了 minifi。

在每个边缘 minifi 流配置上,我都有一个自我控制的 PG,它收集 minifi 内部统计信息,例如实例:健康、统计、公告。

电话看起来像这样

例如

到目前为止一切顺利 - 我得到这些数据提取 json -> 创建一个 Influx Call 并将其推送到 InfluxDb 中,然后显示到 Grafana 中,当一个 Egde 关闭或有高队列,甚至是垃圾时,它会发出警报minifi edge stats bla bla 上的收藏家。

问题:

我如何在 Windowzzzzzz 中执行此操作?我快疯了。

.bat可执行文件没有响应任何flowStatus选项

我设法通过 Cygwin 做到了,但我不想在所有 egdes 中设置 Cygwin。

关于我如何实现这一目标的任何想法?

谢谢

这是我正在尝试做的小演示:

所有操作都在 Windows Server 上完成

工作- 这是通过安装在 Windows 服务器上的 MobaXterm 客户端完成的。─

不工作 - 这是使用 PowerShell 作为管理员并使用run-minifi.bat 完成的

0 投票
1 回答
157 浏览

apache-nifi - Apache MiNifi- Putelasticsearch

我制作流程,它处理来自本地服务器的实时数据并将相关数据发送到 Elasticsearch。我使用 Minifi,但是当我运行 MiNifi 时,它返回了以下错误。有谁知道,问题出在哪里?

谢谢

错误 [Timer-Driven Process Thread-10] oanpelasticsearch.PutElasticsearch5 PutElasticsearch5[id=4ed70cbe-9838-35cd-0000-000000000000] PutElasticsearch5[id=4ed70cbe-9838-35cd-0000-000000000000] 由于 java.lang 处理失败。 NoClassDefFoundError:无法初始化类 org.elasticsearch.Version;回滚会话:{} java.lang.NoClassDefFoundError:无法在 org.elasticsearch.common.io.stream.StreamOutput.(StreamOutput.java:73) 在 org.elasticsearch.common.io 初始化类 org.elasticsearch.Version。 stream.BytesStreamOutput.(BytesStreamOutput.java:60) 在 org.elasticsearch.common.io.stream.BytesStreamOutput.(BytesStreamOutput.java:57) 在 org.elasticsearch.common.io.stream.BytesStreamOutput.(BytesStreamOutput.java:47 ) 在 org.elasticsearch.common.xcontent.XContentBuilder.builder(XContentBuilder.java:

0 投票
2 回答
2738 浏览

apache - 如何在 Apache NiFi 中自动化 DBCPConnectionPool 控制器服务?

我是 Apache NiFi 的新手,我的基本任务是使用 Apache Nifi 将来自多个数据库源的数据摄取到 HDFS 中。我将“DBCPConnectionPool”控制器服务用于数据库连接池服务,我需要在其中提供“数据库连接 URL”、“数据库驱动程序类名称”、“数据库驱动程序位置”、“数据库用户”、“密码”等信息。现在,由于我从多个数据源中提取,所以每次源数据库更改时,我都需要手动更改所有上述信息。我正在寻找一种方法,以便我们可以自动执行此任务。例如,“DBCPConnectionPool”控制器服务应该能够动态获取“数据库连接 URL”、“数据库驱动程序类名称”

0 投票
1 回答
142 浏览

apache-nifi - 我们可以从包含一个流的单个进程组中只提升单个流吗?

我正在尝试使用 NiFi 注册表进行从 Dev 到 QA 环境的流程提升,假设我有名为 PG1 的流程组,它有由许多流程组成的流程,假设流程f1有处理器p1 --> p2 --> p3和流程f2现在有处理器 x1-->x2-->x3如果我对流 2 进行更改,即x1 --> x2--> x3 --> x4并将其签入存储库,现在我只需要将流提升f2到 QA环境,忽略流量f1

0 投票
1 回答
372 浏览

apache-nifi - 使用 MiNiFi 将日志安全地传送到远程进程组

我对 NiFi 有点挑战……确切地说是 MiNiFi。我们使用 MiNiFi 将日志从远程系统传送到 NiFi 实例,从那里传送到 Kafka 和 Elasticsearch。我们可以在没有 https 的情况下成功地做到这一点,但是,最近我的任务是使用 https 安全地做同样的事情。

使用证书,我可以连接到 NiFi UI,挑战是 MiNiFi 无法连接到远程 NiFi 上的 RPG,并出现错误“无法在 URI https://xxxx.com:9443/nifi与远程 NiFi 通信由于:收到致命警报:handshake_failure”。我怀疑这是因为以下错误

2018-07-23 16:27:23,083 INFO [main] o.apache.nifi.controller.FlowController 未启用 RAW Socket 站点到站点功能,因为未设置 nifi.remote.input.socket.port

2018-07-23 16:27:23,083 INFO [main] o.apache.nifi.controller.FlowController 由于“nifi.remote.input.http.enabled”属性为不对

我试图在 MiNiFi 的 nifi.properties 文件中设置这些属性,但每次重新启动时该文件总是被覆盖并加载默认值。请问,您对如何解决此问题有任何想法吗?

如何在启动时在 config.yml 文件或任何其他位置引导这些设置?

0 投票
1 回答
865 浏览

uuid - 获取系统的 UUID 并更新为 NiFi FlowFile 中的属性

有没有办法在 NiFi 中获取系统的唯一 UUID(使用 dmidecode 生成)并将其设置为 FlowFile 的属性。

0 投票
1 回答
907 浏览

json - Nifi:流内容(动态json格式)到csv

我有案例:流中的内容始终是 json 格式,而json中的数据总是在变化(kyes 和 values)。这可以将此流内容转换为 csv吗?

请注意,json 中的键总是在变化的。

非常感谢,

0 投票
1 回答
584 浏览

apache-nifi - 使用 MiNiFi C2 服务器搭建系统

我按照步骤。

  1. 在运行我的 NiFi 的 Windows 中下载了 MiNiFi c2 服务器。

  2. 使用给定名称的 NiFi UI 创建了一个模板examplename iot-minifi-raspberry-agent.v1

  3. Canged MiNiFi c2 属性端口 - 8080(U 也正在获取端口 10080 已在使用中)

  4. 更改了 minifi-c2-context.xml 属性

    /li>
  5. 我的 MiNiFi 在不同的 Windows 机器上运行。在那里我改变了引导属性,如下所示

    /li>
  6. 现在所有更改都已完成我通过点击以下 URL 检查我的更改是否正确完成

    我可以看到 yml 正在显示,但 MiNiFi 中已经存在

    /li>

我做错了什么或我的理解不正确?

任何帮助将非常感激。提前致谢

0 投票
1 回答
892 浏览

amazon-ec2 - MiNiFi - NiFi 连接失败:未知主机异常:能够从运行 MiNiFi 的机器远程登录主机

我在公司防火墙后面的 Linux Box(网关服务器)中运行 MiNiFi。我的 NiFi 在 AWS EC2 集群上运行(以独立模式运行)。

我正在尝试将数据从网关发送到在 AWS EC2 中运行的 NiFi。

从网关,我可以使用公共 DNS 和我在 nifi.properties 文件中配置的远程端口远程登录到 EC2 节点

nifi.properties

从网关到 NiFi 的 Telnet 连接

公共 DNS 正在解析为 EC2 节点的正确公共 IP。

从 EC2 节点,当我在公共 DNS 上执行 nslookup 时,它会返回私有 IP。来自AWS 文档:“公共 IP 地址通过网络地址转换 (NAT) 映射到主要私有 IP 地址。”

因此,我没有在 EC2 节点的 /etc/host 文件中添加公共 DNS 和公共 IP。

从 MiNiFi 方面,我收到以下错误:

minifi-app.log

MiNiFi config.yml

有关如何解决此问题的任何指示?