问题标签 [kylo]

我有 3 个来自同一个处理器的流文件。

FF1 -> {a:1,b:2,c:'name'}

FF2 -> {a:1,b:5,c:'水果'}

FF3 -> {a:2,b:3,c:'abc'}

通过使用 MergeContent 处理器，我可以合并所有流文件，但我的要求是合并 Key 上的流文件。

如果我加入 Key 'a' 的预期输出：

FF1 -> [{a:1,b:2,c:'name'},{a:1,b:5,c:'fruit'}]

FF2 -> [{a:2,b:3,c:'abc'}]

你好，先生，

在数据摄取模板中，我需要获取此属性，因为我有带有日期字段的数据

日期数据 12-07-2018 a 13-07-2018 b 14-07-2018 c 15-07-2018 d

在那，我想采取最新的，即 15-07-2018

如果日期字段有新数据 16-07-2018 e 那么我必须通过检查最后更新日期 15-07-2018 而不是从第一个 12-07-2018 检查来获得 16-07-2018

像这样，如果我得到 17-08-2108 f 那么必须通过检查最后一个新日期 16-07-2018 来得到 17-08-2018 ..

如何实现这一点，我必须在哪个处理器中进行修改或必须添加新属性 当提要再次运行时，它如何获取最新的水印并从那里工作

我遇到了 putHiveStreaming 处理器的问题，因为它没有连接到配置单元元存储。我正在使用 kylo-cloudera-sandbox-0.9.1，请帮助我，因为我无法弄清楚这个问题。

我想知道 DATA TRANSFORMATION 模板中的 Wrangler 输入/清理端口是什么。对于数据摄取模板 nifi 提供输入和清理端口，我们可以在其中定义属性、目录和所有内容。

但是当涉及到数据转换时，无法理解什么是 Wrangler 端口以及我们从哪里获取要转换的数据以及从数据源使用哪个表。

请提供您的建议/链接/资源。

谢谢

请告诉我在数据转换模板中添加提交发布高水位标记的过程，就像我们在数据摄取中所做的那样，将水位标记值设置为高。因为我需要获取增量/更新数据。

我通过阅读文档得到了这个解决方案，但不知道如何实际去做。最终我的要求是在数据转换中获取增量数据和新数据。

如果您对此有意见，请给我回复

我已经开始我的生产者向 Kafka 发送数据，也开始我的消费者提取相同的数据。当我在 Apache Nifi 中使用 Consumekafka 处理器（kafka 版本 1.0）时，我脑海中几乎没有与 Kafka 消费者相关的查询。

Q.1) 当我第一次启动我的 ConsumeKafka 处理器时，我如何从开始和当前消息中读取消息？

Q.2）如果Kafka中的消费者关闭，如何在最后一条消费消息之后读取消息？

我们如何在使用 Apache Nifi 时实现以上两个？

如何在 Kylo 中为 JSON 输入创建提要？使用 JSON 示例文件创建 Advanced Ingest 时出错

发生错误意外异常。验证文件是所有有效 json 文件的正确格式。

请分享在 Kylo 中创建 JSON 到 Hive 提要的建议？

我编写了一个基本的自定义处理器，它将流发送到“重试”关系并调用惩罚。

代码按预期工作。但我想知道为什么任务数（192,569）如此之高。正如预期的那样，过程在 30 秒内完成？

（请参阅 CustomWait 处理器任务计数）

1. 什么是 nifi 在后台运行？
2. 这么大的计数实际上会占用 CPU 吗？
3. 如果这很糟糕，如何解决？

谢谢

我有一个第 3 方 REST，我可以使用 CURL（shell）成功地调用它。此 API 返回 JSON。我尝试通过将内容类型更改为来调用相同的 API，application/x-www-form-urlencoded但它不起作用。我想我被迫使用content-type: multipart/form-data

现在我想使用 InvokeHTTP 处理器 (NiFi) 调用相同的 API。所以我配置如下。但我无法成功拨打电话。（这不是代理问题）。

以下是我创建 POST 正文的方式（由 FF 提供）

我尝试用 \r\n 等替换“输入”，或更改正文name1=val1&name2=val2&....等。没有任何效果。

这是我得到的回应。

[

我能够运行 CURL（shell，来自运行 Nifi 的同一台服务器）。我也可以通过邮递员访问网址。

[

我正在尝试在 Windows 平台上使用带有 m2e 的 eclipse 构建 Kylo v_0.9.1。但是项目构建在 kylo-operational-metadata-jpa 失败并引发以下错误。