人们如何在大型 Azure 数据架构中进行元数据管理？我对人们如何为读取模式数据架构管理和版本控制模式特别感兴趣。Azure 数据目录不提供架构管理。ADF 不提供用于在 ADF 之外使用的元数据存储，并且似乎没有托管用于在 ADF 内使用的外部元数据存储的解决方案（例如，从 Hive 元存储中读取数据集列表）。我知道您可以使用 HDInsight 中的外部元存储，但这似乎错过了大多数 ADF 功能。AWS Glue 数据目录似乎最接近我的设想（以及如何在多个 AWS 数据服务中使用它）。我希望微软正在做类似的事情。
选项似乎是：
- 开发自定义元数据管理解决方案并根据需要推送到 ADF 和 Hive 元存储
- 掌握 Hive 元数据中的元数据并提取到 ADF 数据集
- 将元数据掌握为 ADF 数据集并推送到 Hive 元存储
问题： 人们如何管理大型 Azure 数据架构（例如，多个 ADF、数据湖、Spark 集群）中的架构？