0

有没有人尝试过基于模型的测试来为基于 Spark/Scala 的数据管道编写集成测试？

我的数据管道做一些基本的事情——提取输入数据、转换和少数分组计算，将输出数据加载到 AWS S3。

任何参考文档或示例都非常有助于在 ETL 管道的数据帧/数据集上应用基于模型的测试。

谢谢， 里沙布

4

0 回答 0