1

我正在 Databricks 中创建一个增量表，其中包含 1 天的代理日志（数百万行）。我希望能够按小时对表进行分区，因此仅按“_time”列对表进行分区是不够的。此外，我正在使用 %sql 运行时在我的笔记本中创建表，但如果这是一个更好的选择，我愿意在 scala 中创建它。

如何创建分区逻辑，以便为每个小时的日志创建一个新分区？

我的 _time 列的格式如下。

yyyy-mm-ddThh:mm:ss.xxxxxx-time:zone 其中时间和时区为 2 位数字。

所以，我想为每个独特的小时进行分区，一天给我 24 个分区，就像这样。

yyyy-mm-ddThh

4

1 回答 1

1

您需要创建单独的列来对数据集进行分区。在 SQL 语法中，您可以使用date并hour获取您感兴趣的值，然后在查询中使用它，例如

CREATE TABLE events
USING delta
PARTITIONED BY(date, hour)
AS SELECT *, date(_time) as date, hour(_time) as hour from myData

这将导致您的 delta Lake 按日期和小时进行分区，物理上在磁盘上大致如下所示：

delta/events/date=2019-01-01/
  |-delta/events/date=2019-01-01/hour=0/
  |-delta/events/date=2019-01-01/hour=1/
(...)
delta/events/date=2019-01-02/
(...)

请记住，这会将这两列添加到您的增量数据中，但我想不出一种方法来按不属于表的部分进行分区（PARTITION BY hour(x)不起作用）。

+---+-------------------+----------+----+
| id|              _time|      date|hour|
+---+-------------------+----------+----+
| 71|2019-01-16 12:31:00|2019-01-16|  12|
|108|2019-01-16 12:31:00|2019-01-16|  12|
于 2019-11-26T15:45:12.240 回答