1

可以一次将我的 Hadoop 集群连接到多个 Google Cloud 项目吗?

我可以通过 Google Cloud Storage Connector 在单个 Google 项目中轻松使用任何 Google Storage 存储桶,如本线程Migrating 50TB data from local Hadoop cluster to Google Cloud Storage中所述。但我找不到任何文档或示例如何从单个 map-reduce 作业连接到两个或多个 Google Cloud 项目。你有什么建议/技巧吗?

非常感谢。

4

1 回答 1

2

实际上,可以一次将您的集群连接到来自多个不同项目的存储桶。最终,如果您使用的是使用服务帐户密钥文件的说明,则 GCS 请求将代表该服务帐户执行,可以或多或少地像任何其他用户一样对待该服务帐户。您可以使用cloud.google.com/console 部分将服务帐户电子邮件添加your-service-account-email@developer.gserviceaccount.com到拥有要处理的存储桶的所有不同云项目中,并像任何其他成员一样简单地添加该电子邮件地址,或者您可以设置GCS 级别可以像任何其他用户一样添加该服务帐户。permissions

于 2015-05-09T00:45:24.677 回答