1

我是新手ScalaAmazon Deequ。我被要求编写一个Scala代码,通过使用存储在上的源文件来计算关于约束的指标(例如CompletenessCountDistinct等),并将生成的指标加载到 Glue 表中,该表将进一步用于报告。DeequcsvS3

任何人都可以通过将我指向可以帮助我实现这一目标的在线资源的正确方向来帮助我吗?我对Scala和都是新手Deequ。那么谁能给我一个示例Scala代码并解释如何使用这些deequ库等?

如果需要更多信息来更好地解释我的问题,请告诉我。

4

2 回答 2

1

感谢您对 Deequ 的关注。deequ 的 github 页面包含有关如何开始使用它的信息:https ://github.com/awslabs/deequ

此外,AWS 博客上也有一篇博文,其中包含一些示例:https ://aws.amazon.com/blogs/big-data/test-data-quality-at-scale-with-deequ/

最好的,塞巴斯蒂安

于 2019-09-20T16:28:45.890 回答
0

您可以在此处查看可用示例:https ://github.com/awslabs/deequ/tree/master/src/main/scala/com/amazon/deequ/examples

希望有帮助。

花一些时间阅读文档。

于 2019-11-18T20:57:09.000 回答