3

我有几个关于 AWS Glue 的问题,希望有人能为我解答。

所以场景是我们在 us-east-1 区域设置了一个 AWS 账户,我们使用 AWS EMR 和 Glue 作为 hive 元存储(通过 emr 配置)。这在过去一年左右一直运行良好,没有出现任何问题,Glue Catalog 有一堆 DB 和一堆表。现在我们要做的是将整个项目迁移到另一个区域(相同的帐户,不同的区域,例如 us-west-1)。所以我把其他所有东西都移过来了,ec2 实例、sg 等。问题是我在 us-west-1 中看不到来自 us-east-1 胶合元存储的表。现在我的问题。

1.) AWS Glue 目录是否特定于区域?意思是,如果我在一个区域中创建一个粘合的数据库/表,它会留在那个区域还是我可以做些什么来跨所有区域访问它?通过控制台和编程方式。

2.) 如果能够跨区域共享单个粘合元存储,那么它如何与 EMR 一起使用,我是否必须在 EMR 配置页面中指定区域属性以及其他粘合设置?

3.) 如果#2可以的话,跨区域访问胶水目录是否有任何费用(跨区域访问)

3.) 否则,如果 #2 不可能,我是否必须手动从一个区域复制 db/tables 并将它们导入到另一个区域的粘合数据目录中?这是做这件事的正确方法吗?

4

1 回答 1

1

仅适用于将来看到这一点的任何人。我最终使用我编写的 Java 程序移动表,该程序使用 AWS Java Glue API 从一个区域读取表并在另一个区域创建它们。然后相同的代码从原始区域中删除表。真的没有看到其他方法。我们有大约 1000 多个表要移动,因此手动复制它们并不是一个真正的选择。

于 2019-03-28T16:19:46.337 回答