符合以下要求的最佳数据管道框架是什么?:
- 开源/免费使用
- 需要使用 Python 创建数据管道(应该支持 Geopandas、Pandas、Numpy,...)
- 支持手动和时间触发的管道
- 非技术用户可以在其中启动管道(订单数据)的 Web 界面。必须可以使用需要在运行时定义的变量。
- 支持在单个 Docker 容器中运行管道的能力
- 与源代码控制 (GIT) 集成。即从 GIT 下载最新的日期管道
我已经调查过 Apache Airflow,但想知道市场上是否有更好的替代方案,它支持上面定义的要求 :)