0

在 nifi 中，如果我从单个主题收听 Kafka 并基于路由逻辑，它将调用相应的进程组。

但是，在RouteOnContent处理器中，如果我们给出正则表达式来检查字符串的出现是否会影响性能或如何在基于条件的路由时获得良好的性能。

4

2 回答 2

0

在 KSQL / 流处理级别进行一些拆分成不同的主题并让 Nifi 从不同的主题中读取会更有效吗？

于 2019-06-17T11:53:42.943 回答
0

对每条消息的内容运行正则表达式是一种低效的方法，请考虑是否可以将方法修改为以下之一：

  • 让您的生产者将必要的元数据写入 Kafka 标头，该标头可以在 NiFi 中使用更高效的 RouteOnAttribute 处理器。这仍然是一次消息，具有吞吐量限制
  • 如果您的消息符合模式，请使用 NiFi 中更高效的 KafkaRecord 处理器和 QueryRecord 方法，这将显着提高吞吐量
  • 如果您无法修改源数据并且涉及正则表达式逻辑，则使用小型 Kafka Streams 应用程序在进一步下游处理数据之前拆分主题可能更有效
于 2019-06-18T13:00:00.477 回答