问题标签 [apache-falcon]

我正在用 Java 开发一个解决方案，它通过属于不同供应商的 REST API 与一组设备进行通信。因此，对于每个供应商，我必须在我的解决方案中执行一组流程。但是，这些过程将根据每个供应商而改变。以下是需要执行的高级流程。

• Retrieve an XML file from a folder
• Process the XML file
• Perform some image processing
• Schedule a job and execute it on the scheduled time
• Storing data on a MySQL DB and perform some REST calls to outside APIs

因此，对于一个供应商而言，可能拥有上述所有流程。但另一方面，可能没有一些过程（例如：图像处理）。从选择的解决方案中应该可以得到以下的东西。

• I should be able to create custom workflows for new vendors
• Need to identify any failures that have been occurred within the workflow and perform retry mechanisms.
• Should be able to execute some functions parallelly (Eg: Image processing)
• Scalable
• Opensource

所以我被告知要研究像 Nifi/Airflow/Falcon 这样的工作流管理器。我对它们进行了一些研究，但无法最终确定最合适的解决方案。

注意：不需要使用 Hadoop 或任何其他集群，数据流频率也不高

目前，我正在考虑使用 Nifi。但是有人可以对此发表您的意见吗？什么是我的用例的最佳解决方案？

Apache Falcon 可以与 HDP 2.x 一起安装。但我找不到安装 HDP 3.x 的方法。有没有办法用 HDP 3.x 安装 Falcon

我正在寻找为集群中的一些管道创建依赖关系图。我试图显示我的数据的起点和终点以及两点之间的所有数据流。我希望使用 apache 气流或 apache falcon 来完成这项任务。如果您对使用什么工具以及如何开始这个项目有任何建议，请告诉我。还请链接与 apache falcon 相关的任何文档。谢谢你。