Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
我使用 Spark 进行数据处理,但从数据源(主要是 csv 文件)开始,我想建立一个数据管道,它具有正确的阶段来控制/测试/操作数据并将它们部署到不同的“阶段”(CI- CD/QA/UAT/LIVE/等)。
是否有任何有效的数据管道“蓝图”?