python - Airbnb Airflow 与 Apache Nifi

Question

Airflow 和 Nifi 在工作流程上执行相同的工作吗？每个人的优点/缺点是什么？我需要读取一些 json 文件，向其中添加更多自定义元数据并将其放入 Kafka 队列中进行处理。我能够在 Nifi 中做到这一点。我仍在研究气流。我正在尝试为我的项目选择最好的工作流引擎谢谢！

Answer 1

如需详细了解 Airflow 和 Apache NiFi，请查看此 reddit 帖子：https ://www.reddit.com/r/bigdata/comments/51mgk6/comparing_airbnb_airflow_and_apache_nifi/

对于您摄取 Json 文件、丰富它们并将它们路由到 Kafka 的特定用例，我相信 NiFi 是适合这项工作的工具。您可能会使用的几个处理器以及每个处理器的文档如下：

获取文件：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.9.2/org.apache.nifi.processors.standard.GetFile/index。 html

JoltTransformJSON：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.9.2/org.apache.nifi.processors.standard.JoltTransformJSON/index。 html

PublishKafka（或 PublishKafka_0_10，取决于您的版本）：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-kafka-0-9-nar/1.9.2/org。 apache.nifi.processors.kafka.pubsub.PublishKafka/index.html