Iceberg 是否支持将数据写入 GCS？因为要使冰山的原子性根据https://iceberg.apache.org/java-api-quickstart/工作，GCS 应该支持原子重命名，但是来自https://cloud.google.com/storage/docs/gsutil/ commands/mv GCS 重命名不是原子的。如果 iceberg 不支持 GCS，处理原子性的解决方法是什么
问问题
147 次
1 回答
0
Hadoop 表实现是唯一使用重命名的地方，它需要一个支持原子重命名的文件系统。如果您使用像 S3 或 GCS 这样的对象存储，那么您应该使用 HMS 实现或自定义目录而不是 Hadoop 表。
“表不需要重命名，除了使用原子重命名来实现新元数据文件的提交操作的表。”
据我所知，一切都应该与 GCS 一起工作而无需修改。
GCS 中没有原生原子重命名，它需要移动 + 删除。您可以参考页面https://iceberg.apache.org/spec/#mvcc-and-optimistic-concurrency。
于 2021-07-10T07:58:43.727 回答