apache-nifi - Apache NiFi 和 StreamSet

Question

Apache NiFi 比 StreamSets 慢吗？

我创建了一个管道，它从 Kafka 主题接收数据并将数据转储到 Apache NiFi 和 StreamSets 中的另一个 Kafka 主题中，但 StreamSets 比 NiFi 快得多。

我在 NiFi 中使用 consumekafkaRecord 处理器，在 StreamSets 中使用 KafkaConsumer。

Answer 1

我对 NiFi 非常熟悉。仅从每个节点的速度来看，我不相信 NiFi 在特定场景中比 Streamsets 有任何优势。NiFi 旨在处理任意源和接收器，这意味着它通常不会也不应该假设源的任何事务行为。尽管 Kafka 确实提供了一个很好的设计模式，围绕抓取数据、做事、将数据发送到 kafka 或其他地方，然后响应响应。这是一种越来越普遍和可扩展的模式，NiFi 社区正在推出一种 NiFi-FN 方法，该方法使一般数据分发案例和类似的案例在 NiFi 中都是最优的。当您查看耐用性、可靠性、数据和源/接收器的多样性以及内置出处时，NiFi 带来了大量非常重要的优势。如果您需要的只是性能，并且对于这种特定情况，Streamsets 更好，或者就此而言，我建议您使用 Spark/Spark Streaming。如果您的需求将超出此处描述的范围并且以数据分发/数据流管理为重点，那么 NiFi 绝对是最佳选择。