amazon-s3 - S3 湖泊形成管理表和数据块增量表之间的主要区别是什么？

Question

S3 湖泊形成管理表和数据块增量表之间的主要区别是什么？它们看起来很相似。

Answer 1

治理表、Delta Lake 以及某种程度上的 Apache Iceberg 和 Hudi 都是表格数据格式。表格格式不是仅以原始格式（parquet、orc、avro）存储数据，而是具有额外的清单文件，这些文件提供有关在特定状态下表格中存在哪些文件的元数据。这使他们都可以启用 ACID 事务、时间旅行和快照等功能。目前的主要区别在于它们可以集成哪些大数据工具。

AWS Governed tables 是 Lake Formation 产品，因此您可以通过 Lake Formation 权限模型来管理对数据目录对象（数据库、表和列）的访问。它还提供与 AWS 查询引擎的集成：Redshift Spectrum、Glue 和 Athena。尚不支持 EMR Spark。它还提供 ACID 事务、时间旅行和快照。

Delta Lakes 在 Spark 上提供 ACID 事务、时间旅行和快照。它还支持 Spark 流和数据变异。