1

我必须将从 IBM Cloud SQL Query 读取的 parquet 文件数据推送到 Db2 on Cloud。

我的 parquet 文件包含数组格式的数据，我也想将其推送到 DB2 on Cloud。

有没有办法将 parquet 文件的数组数据推送到 Db2 on Cloud？

4

1 回答 1

1

您是否在文档中查看过此建议？

https://cloud.ibm.com/docs/services/sql-query?topic=sql-query-overview#limitations

如果 JSON、ORC 或 Parquet 对象包含嵌套或数组结构，则使用通配符的 CSV 输出查询（例如，SELECT * from cos://...）会返回错误，例如“使用的 CSV 数据类型无效: 结构。” 使用以下解决方法之一：

  • 对于嵌套结构，请使用 FLATTEN 表转换函数。
  • 或者，您可以指定完全嵌套的列名而不是通配符，例如，SELECT address.city, address.street, ... from cos://....
  • 对于数组，使用 Spark SQL 的 explode() 函数，例如，select explode(contact_names) from cos://....
于 2020-03-30T08:46:45.923 回答