在 Apache Oozie、Spotify/Luigi和airbnb/airflow之间，它们各自的优缺点是什么？
我过去曾使用 oozie 和气流来构建使用 PIG 和 Hive 的数据摄取管道。目前，我正在构建一个查看日志并提取有用事件并将它们置于红移状态的管道。
我发现气流更容易使用/测试/设置。它有一个更酷的 UI，并允许用户从 UI 本身执行操作，这与 Oozie 不同。欢迎提供有关 Luigi 的任何信息或其他有关稳定性和问题的见解。
问问题
858 次
2 回答
3
- Azkaban：漂亮的 UI，相对简单，非程序员也可以使用。在 LinkedIn 有着悠久的历史。
- 查看Azkaban CLI项目以创建程序化就业机会。我在 GitHub 上有一个Azkaban 示例工作流项目。
- Airflow：体面的 UI，Python 式的工作定义，非程序员半可访问，依赖声明语法很奇怪。
- Luigi：好的 UI，工作流是纯 Python，需要扎实掌握 Python 编码和面向对象的概念，因此不适合非程序员。
- Oozie：疯狂的基于 XML 的作业定义。这里是龙。;-)
恕我直言，Azkaban 强制执行简单性（不能使用不存在的功能），而其他人则巧妙地鼓励复杂性。
更简单的管道比复杂的管道更好：更容易创建，更容易理解（尤其是当你没有创建时）并且更容易调试/修复。
当需要复杂的操作时，您希望以完全成功或完全失败的方式封装它们。
如果您可以使其具有幂等性（再次运行它会产生相同的结果），那就更好了。
于 2016-03-02T21:07:04.537 回答
1
这篇文章将让您初步了解不同的可能工作流程
于 2017-05-16T19:41:38.357 回答