apache-spark-sql - Databricks/Spark SQL - 如何在地图类型字段中获取数据

Question

在 CDP 数据湖中，profiles 表具有 identityMap 字段：

[IdentityType -> IdentityValue]

示例值如下所示：

["crmID" -> "{(NULL,crm123,NULL)}", 
 "loyaltyID" -> "{(NULL,loy456,NULL)}", 
 "accountID" -> "{(NULL,act789,NULL)}"]

为了验证 ID 的摄取和合并过程，客户端希望在该映射字段上运行一些检查，例如：

• 每行有多少个键
• 每个键有多少个值

我曾经精通 TSQL，但这些地图结构对我来说是新的，不知道如何探索这些数据。

可以使用哪种函数或语法来获取 identityMap 字段？请随时仅分享对公共文档的引用。

Answer 1

如果您只需要使用 SQL 来执行此操作，那么您需要使用方括号[]来访问值（请参阅docs）。它们适用于数组和映射，仅适用于需要提供索引的数组，而对于需要提供值的映射，例如column_name['crmID'].

PS您可能还需要使用，，等功能map_keys-map_values只需点击链接页面底部的链接