google-bigquery - 在 bigquery 中创建分区表时如何设置时间戳

Question

这是我尝试过的

#standardSQL
 CREATE TABLE dataSet.myTableName (userName string, DateCreated DATE, email string)
 PARTITION BY DateCreated
 OPTIONS(
   description="a table partitioned by DateCreated"
 )

但在这种情况下，DateCreated 字段是 Date 类型，我想将其设为 TIMESTAMP 格式，我该怎么做？因为我的数据采用这种格式 "DateCreated":"1519302159.042" 而不是 DATE 类型

Answer 1

您将无法将该表单的数据直接加载到 BigQuery 表中。不过，您有几个选择：

• 使用临时表。
  1. 创建一个单独的表，其中DateCreated列的类型为FLOAT64。
  2. 将数据从 CSV、JSON 或任何格式的数据加载到此临时表中。
  3. 运行一条INSERT语句以插入到分区表中dataSet.myTableName。您可以DateCreated使用转换DATE(TIMESTAMP_MILLIS(CAST(DateCreated * 1000 AS INT64))) AS DateCreated；这将获取FLOAT64列并将其转换为DATE. 如果需要，您可以将时区传递给DATE函数。默认值为 UTC。
• 在加载数据之前，使用 BigQuery 之外的工具处理数据。
  • Cloud Dataprep旨在处理数据。
  • Cloud Dataflow允许您运行自定义代码来处理数据并根据需要进行扩展。

我的个人意见：我会使用 BigQuery 来满足您的所有处理需求，因为您可以只运行查询。

Answer 2

你可以尝试这样的事情：

CREATE TABLE
  blockchains.timestamp_based_partitioned_transactions ( 
    status STRING NOT NULL,
    transactionHash STRING NOT NULL,
    blockNumber INT64 NOT NULL,
    sender STRING NOT NULL,
    receiver STRING NOT NULL,
    timestamp TIMESTAMP NOT NULL
    )
PARTITION BY
   DATE(timestamp)