4

我有一个由 AWS Glue 管理的数据目录,以及我的开发人员在我们的 S3 存储桶中使用新表或分区进行的任何更新,我们每天都使用爬虫进行更新以保持新分区的健康。

但是,我们还需要自定义表格属性。在我们的 hive 中,我们将每个表的数据源作为表属性,我们在胶水中添加到数据目录中的表,但是每次运行爬虫时,它都会覆盖自定义表属性,如描述。

我做错什么了吗?或者这是来自 AWS Glue 的错误?

4

1 回答 1

0

你检查Schema change policy你的爬虫定义了吗?

在此处输入图像描述

于 2018-01-11T05:19:12.290 回答