google-cloud-platform - 在 GCP 中创建带有分区的外部表

Question

我正在尝试使用下面的分区创建一个外部表是我正在使用的参考图像。

这是我打算做的事情：

我有文件流入此文件夹：

我需要根据日期查询外部表：

例如：

select * from where _PartitionDate ='';

我的具体查询是我应该填写 GCS 存储桶和源数据分区字段的内容。

谢谢你。

Answer 1

根据 Guillaume 提供的文档 [1]，您应该单击该Source data partitioning框并在此处提供以下链接：

gs://datalake-confidential-redacted/ExternalTable_Data/

此外，Table type应该是External table。

一旦修复，您应该能够创建表。我自己复制了这个问题并且它正在工作。

[1] - https://cloud.google.com/bigquery/docs/hive-partitioned-queries-gcs#hive-partitioning-options

Answer 2

这部分文档应该对您有所帮助。您需要检查Source data partitioning然后填写您的前缀 URI，例如

gs://datalake-confidential-redacted/ExternalTable_Data/{dt:DATE}

然后，将此dt字段用作查询中的任何字段

SELECT *
FROM `externale-table`
WHERE dt = "2020-01-10"

Answer 3

自定义向导对此方法存在问题。一旦我们使用了 Teraform 脚本，它就成功了。它要求将 HIVE 分区标记为自定义，并且一旦创建了日期列，它就会作为列添加到表中。通过允许查询。