我有一个由 AWS Glue 管理的数据目录,以及我的开发人员在我们的 S3 存储桶中使用新表或分区进行的任何更新,我们每天都使用爬虫进行更新以保持新分区的健康。
但是,我们还需要自定义表格属性。在我们的 hive 中,我们将每个表的数据源作为表属性,我们在胶水中添加到数据目录中的表,但是每次运行爬虫时,它都会覆盖自定义表属性,如描述。
我做错什么了吗?或者这是来自 AWS Glue 的错误?
我有一个由 AWS Glue 管理的数据目录,以及我的开发人员在我们的 S3 存储桶中使用新表或分区进行的任何更新,我们每天都使用爬虫进行更新以保持新分区的健康。
但是,我们还需要自定义表格属性。在我们的 hive 中,我们将每个表的数据源作为表属性,我们在胶水中添加到数据目录中的表,但是每次运行爬虫时,它都会覆盖自定义表属性,如描述。
我做错什么了吗?或者这是来自 AWS Glue 的错误?