databricks - Databricks 无服务器计算机 - 写回增量表

Question

Databricks 无服务器计算 - 我知道这仍处于预览阶段，并且是应要求提供的，并且仅在 AWS 上可用。

这可以用于读写（更新） .delta 表[或者]它是只读的吗？

运行小型查询（本质上是事务性的）是否很好？[或者] 使用 Azure SQL 是否很好？

对于小型查询，Azure SQL ( az sql) 的性能似乎比 Databricks 更快。

由于 Dataricks 在从 .delta 表中查询时必须遍历 Hive Metastore - 这会影响性能吗？

Answer 1

根据发行说明（2021 年 6 月 17 日），新的光子执行器已为 SQL 端点打开，它还支持写入 Delta 表（和 Parquet）。

如果您想对一组数据运行大量小查询，那么我会说 Az SQL 交互（或从 Delta 表中获取的 SparkDataFrame 上的操作）应该总是优于直接针对Delta Lake 表，因为后者必须代表您协商版本化 parquet 文件和 Delta Lake 事务日志。