问题标签 [apache-nifi]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
2696 浏览

regex - 在映射文件中使用带有多个列的 ReplaceTextWithMapping

在我的具体情况下,我需要澄清 NiFi 中 ReplaceTextWithMapping 的用法。我的输入文件如下所示:

相反,映射文件看起来像这样:

我的预期结果如下:

正则表达式集简单如下:

并且它与映射文件中的字段键匹配(我们期望大写字母或大写字母 + 数字),但是我不确定您如何决定要分配哪个值(来自 col 2 或来自 col3)输入值。此外,我的 field2 不应更改,并且需要保留从输入值获得的相同值,不涉及映射。目前,我得到这样的东西:

我想我的主要问题是:您可以将输入文件中的相同值映射为来自映射文件不同列的不同值吗?

谢谢

编辑:我正在使用ReplaceTextWithMapping,这是 Apache NiFi(v. 0.5.1)中的一个开箱即用的处理器。在我的数据流中,我最终得到了一个 Json 文件,我需要在该文件上应用一些来自我想加载到内存中的外部文件的映射(例如,而不是使用 ExtractText 解析)。

0 投票
2 回答
1132 浏览

groovy - 修复 Groovy 中的 Json 格式问题:Apache NiFi ExecuteScript

我正在使用Apache Nifi,我的一个流文件是一个稍微格式错误的 Json:

我不想使用之前应用的转换,而是使用 Groovy 脚本作为ExecuteScript的一部分。这就是我目前所拥有的:

但是,我返回以下错误:

...^

我在做任何明显错误的事情吗?谢谢您的帮助。

0 投票
1 回答
693 浏览

oracle - Nifi 中的 ExecuteSQL 处理器以 avro 格式返回数据

刚开始使用 Apache Nifi。我正在尝试从 oracle 获取数据并将其放在 HDFS 中,然后在其上构建一个外部配置单元表。问题是 ExecuteSQL 处理器以 avro 格式返回数据。无论如何我可以以可读格式获取这些数据吗?

0 投票
2 回答
1501 浏览

regex - 仅匹配第一次出现的短语

我有以下Json:

我需要匹配以大写字母开头的任何短语的第一次出现(例如“Text Again”)

我写了以下内容:

例如,在使用https://regex101.com/进行测试时,它确实可以正常工作。但是,它似乎不能作为ReplaceTextWithMapping (Apache NiFi) 使用的一部分正确发挥作用。正则表达式不正确吗?

谢谢您的帮助

0 投票
2 回答
352 浏览

java - 与作为服务的大型 Java 程序交互?

我该怎么做?

我想做的是一次加载斯坦福 NLP,然后通过 HTTP 或其他端点与之交互。原因是加载需要很长时间,并且加载每个要分析的字符串是不可能的。

例如,这里是斯坦福 NLP 在一个简单的 C# 程序中加载,该程序加载了罐子......我正在寻找我在下面所做的事情,但是在 java 中:

这超过 30 秒。如果这些都必须每次加载,哎呀。为了展示我想在 java 中做什么,我用 C# 编写了一个工作示例,这个完整的示例有一天可能会对某人有所帮助:

所以加载需要 30 秒,但是每次你在控制台上给它一个字符串时,解析和标记该字符串需要一秒钟的最小时间。

您可以看到我在 while 循环之前加载了 jar 文件。

这最终可能是一个套接字服务、HTML 或其他可以处理请求(以字符串的形式)并返回解析的东西。

我的最终目标是在 Nifi 中使用一种机制,通过一个可以发送要解析的字符串的处理器,并让它们在不到一秒的时间内返回,而如果使用传统的 Web 服务器线程示例(例如),则需要 30 多秒。每个请求都会加载整个内容 30 秒,然后开始工作。我希望我说清楚了!

这该怎么做?

0 投票
1 回答
5363 浏览

apache-nifi - NIFI - Transfer relationship not specified

I've deployed a simple dataflow: HandleHttpRequest - PutKafka - HandleHttpResponse.

NIFI throws a "transfer relationship not specified" error, but not always. Can anyone help me to understand why?

Here is the error information:

Here follows an image of the error:

HandleHttpRequest Error

Thanks a lot.

0 投票
1 回答
1152 浏览

sql - Apache Nifi 中的 ExecuteSQL 处理器

我在使用 Apache Nifi 时遇到问题。有没有办法在 ExecuteSQL 处理器完成获取表中的所有数据后停止它,而不是重复获取直到我手动停止它?

0 投票
0 回答
611 浏览

elasticsearch - Apache Nifi PutElasticSearch,无法加载数据

我正在尝试使用在弹性搜索中加载文档PutElasticSearch,但是当我看到公告板时出现以下错误。

集群名称、ElasticSearch 主机、索引和类型已正确配置。

0 投票
2 回答
4032 浏览

time - apache nifi 总执行时间

我想知道如何找出/捕获 Apache Nifi 中任何流的总执行时间。有没有办法做到这一点并将其添加到属性列表中,以便可以通过 PutEmail 共享相同的内容?

0 投票
1 回答
555 浏览

hbase - 将 avro 文件保存到 Hbase Apache NIFI

我正在从 ORACLE DB 获取数据,我想将其保存在 hbase 中而不使用(convertAvroToJson 和 putHbaseJSON)

从oracle我得到4个这样的属性:a:Text b:Text c:Text d:Binary

有没有办法直接从avro文件中保存这些属性

注意:阻止我使用 JSON 的唯一原因是可能包含 (" 或 ') 的 BINARY 属性

谢谢你。