azure-data-lake - 我们可以从动态数据中将分区范围添加到 ADL 中的表中吗

Question

是否可以动态添加分区而不是固定到特定的静态数据。例如，如果我们需要为来自不同 CSV 记录的所有日期创建分区。

Answer 1

您今天必须使用 ALTER TABLE ADD PARTITION 显式创建分区（在创建分区表之后）。因此，当前的建议是查看数据的所有不同日期并以编程方式生成 ALTER 语句。

我建议您向http://aka.ms/adlfeedback添加请求以生成更动态的分区。

Answer 2

您可以传递动态数据（日期是经典示例）来创建分区，下面的示例构造，这有帮助吗？

例如

CREATE TABLE MyTable(Day DateTime, MyValue string, ....,
                     INDEX idx CLUSTERED(MyValue)
                     PARTITIONED BY BUCKETS(Day)
                     HASH(MyValue) INTO 100
);