validation - 如何在 aweglue 中添加数据质量检查实用程序。？

Question

如何在 aws 胶水中添加仅检查数据质量（如 null、正确的数据类型等）的作业

Answer 1

你也可以检查 pyDeequ 库。它使您能够将 python 代码实现到 DQ 检查。

Answer 2

您可以编写 pyspark 胶水作业以进行质量检查。您也可以使用AWS Deequ库来执行此操作，但它在 scala 中。