问题标签 [apache-nifi]

我正在评估 NiFi 并创建了一个基本的工作流程，它侦听本地目录，应用一些转换，然后将流程放入 kafka，但是在将消息放入 kafka 时，我遇到了错误。

错误跟踪

我的工作流程看起来像

BasicFieldSplitProcessor 是我的自定义处理器，它是 ReplaceText 的修改版本。

“字段拆分队列”的配置

• FlowFile过期信息：120秒
• 背压对象阈值信息：500000
• 背压数据大小阈值信息：200 MB

我在 Centos 7 上使用 Apache NiFi 0.4.1 和 Java 7，并尝试根据一些传入数据创建流文件。由于我生成大量数据，我遇到了“OutOfMemoryError：Java 堆空间”异常。

据我所知，这是因为 NiFi 在写入流文件时提供的输出流是 ByteArrayOutputStream，因此数据存储在内存中。我可以理解为什么会发生这种情况，但我可以使用 GetFile/PutFile 来处理一个更大的文件（我尝试加载一个 10Gb 文件，记录其属性并将其写入另一个位置，这很有效）。我在这里缺少什么吗？有没有办法编写更大的流文件？或者 NiFi 0.5.0 有什么改变可以帮助我吗？

注意：我认为增加可用的 java 堆空间量不会解决我的问题

我正在使用 Nifi 0.4.1 版本。我正在编写自定义代码以将 CSV 转换为 avro 格式。我已经创建了类文件并能够生成 nar 文件。将 nar 文件放在 lib 目录中并重新启动 nifi 服务器。

class 文件没有任何错误或警告。

在 nifi 工作区中拖动处理器时，无法看到为将 csv 转换为 avro 而创建的类。

任何帮助表示赞赏..

谢谢，

我已经开始使用 Apache Nifi，并且仍在学习和试验它。我真的很想使用 Nifi 从 API 获取 JSON 文档并将它们放入我的 Elasticsearch 数据库中。到目前为止，使用内置的 getTwitter 和 putElasticsearch 控制器是可行的。

但是现在我想用 Twitter 以外的其他 API 来做这件事，我有点卡在这里。首先我真的不知道该使用哪个控制器？我会认为 getHttp 或 invokeHttp 即使使用 'GET' 作为 http 动词，但它似乎不起作用。如果我使用 getHttp 我必须提供带有密钥库和信任库的 SSL 服务 .. 为什么我必须这样做？

Apache Nifi 仍然很新，所以很难找到关于这类事情的像样的指南/信息。我已经阅读并搜索了文档，但还没有变得更明智。

从 API 获取的 JSON 示例如下：

https://api.ssllabs.com/api/v2/getEndpointData?host=www.bnpparibasfortis.be&s=193.58.4.82

提前感谢任何可以提供一些帮助/见解的人。

使用 Nifi 版本 0.5.0 并遵循此处指出的所有步骤 https://www.mail-archive.com/search?l=users@nifi.apache.org&q=subject:%22executesql%22&o=newest&f=1

我仍然收到相同的错误“org.apache.avro.SchemaParseException：空名称”

我的流量是

查询在 Oracle DB 中执行良好

我遇到了死胡同，任何帮助将不胜感激

我正在尝试在我的 CentOS 系统上运行 Apache NiFi。我下载了它并使用命令运行它：

结果在这里：

然后我使用命令检查 Apache NiFi 的状态：

结果是：

但最后当我尝试在浏览器上访问http://localhost:8090/nifi或http://localhost:8080/nifi时，它说：无法连接。（为了避免冲突，我将http端口改为8090，但还是有同样的问题）。请帮帮我，是什么问题？

这里是$NIFI_HOME/logs/nifi-app.log：

我正在使用 Nifi 0.4.1 版本。我正在编写自定义代码以将 CSV 转换为 avro 格式。我已经创建了类文件（.java 文件）并能够生成 nar 文件。将新创建的 nar 文件放在 lib 目录中并重新启动 nifi 服务器。

class 文件没有任何错误或警告。

当我打开浏览器并输入 localhost:8080/nifi 时，我在浏览器中看到空白页。此外，命令提示符正在从 bin 目录中退出。

当检查 nifi (status-nifi.bat) 的状态时，表示服务器可能已崩溃或挂起。

任何帮助表示赞赏..

我正在尝试在 Apache NiFi 中创建一个自定义处理器，它可以将属性/字符串添加到流文件内容中的 JSON 对象。目前，当我只使用字符串时它可以工作，但是当我使用 NiFi 的表达式语言时它不起作用，尽管我的代码支持它。

表达式语言是 100% 正确的，因为它在另一个处理器中工作，我还尝试了不同的属性以确保它不是属性。

物业：

稍后在我的代码中，当我想获取值并放入我使用的 JSON 对象时：

我还进行了单元测试，当我为 testrunner.setProperty 分配一个文本值时它可以工作。但是我不知道如何将属性分配给 testrunner 或如何在测试中使用表达式语言。

提前感谢您的任何建议或解决方案！

我刚刚为 linux 下载了 nifi-0.5.1。

尝试使用以下命令运行 Nifi 时：./nifi.sh run

我得到以下异常nifi-app.log：

2016-03-13 05:29:42,959 WARN [main] org.apache.nifi.web.server.JettyServer 无法启动 Web 服务器...正在关闭。org.apache.nifi.web.NiFiCoreException：无法启动流控制器。在 org.apache.nifi.web.contextlistener.ApplicationStartupContextListener.contextInitialized(ApplicationStartupContextListener.java:99) ~[na:na] 在 org.eclipse.jetty.server.handler.ContextHandler.callContextInitialized(ContextHandler.java:800) ~[ jetty-server-9.2.11.v20150529.jar:9.2.11.v20150529] 在 org.eclipse.jetty.servlet.ServletContextHandler.callContextInitialized(ServletContextHandler.java:444) ~[jetty-servlet-9.2.11.v20150529.jar :9.2.11.v20150529] 在 org.eclipse.jetty.server.handler.ContextHandler.startContext(ContextHandler.java:791) ~[jetty-server-9.2.11.v20150529.jar:9.2.11.

我会很感激你的帮助，

我有一个不断更新新项目的 Json 文件。使用 Nifi 我想创建一个从这个 Json 文件中实时提取内容的流程，然后制作一个可以是 CSV 的输出文件，以便我可以在 Excel 中使用它进行一些分析。我是 Nifi 的新手，所以你能为这个活动推荐一些流程吗？任何让我开始的事情都会很有帮助。