我是 python 新手,我想将数据文件从不同的本地数据源移动到 azure 数据湖存储,我想在使用 azure 数据工厂管道和 azure databrick 移动之前验证这些数据文件的不同验证规则
我知道如何在 databricks 中创建自定义 python 复制活动以运行 python 脚本
我需要帮助编写验证脚本
我是 python 新手,我想将数据文件从不同的本地数据源移动到 azure 数据湖存储,我想在使用 azure 数据工厂管道和 azure databrick 移动之前验证这些数据文件的不同验证规则
我知道如何在 databricks 中创建自定义 python 复制活动以运行 python 脚本
我需要帮助编写验证脚本
您可能想查看数据工厂以在不同存储之间移动文件。它非常简单且可扩展,您甚至可以基于 Spark 集群创建数据流管道,而无需编写任何代码。