0

GCP Dataproc sqoop 可以从本地数据库导入数据以放入 GCP 存储（没有 GCP VPC）吗？

我们有一个远程 Oracle DB 通过 VPN 隧道连接到我们的本地网络，我们使用 Hadoop 集群通过Apache Sqoop每天提取数据。想用 GCP Dataproc 集群替换这个进程来运行 sqoop 作业和 GCP 存储。发现这篇文章似乎正在Google Cloud Dataproc 中使用 Apache Sqoop 进行类似的移动数据，但它假设用户拥有GCP VPC（我不打算购买）。

所以我的问题是：

  • 如果没有这个 VPC 连接，云 dataproc 集群是否知道如何使用 作业提交 API从我们本地网络上的数据库中获取数据？
  • 如果是这样，这将如何工作（也许我对 Hadoop 作业的工作方式/获取数据不够了解）？
  • 如果没有其他方法？
4

2 回答 2

2

如果不使用VPC/VPN，您将无法授予 Dataproc 访问本地数据库的权限。

如果它更好地满足您的需求，您可以使用 VPN，而不是使用 VPC：https ://cloud.google.com/vpn/docs/

您唯一的其他选择是将本地数据库打开到 Internet，这样 Dataproc 就可以在没有 VPC/VPN 的情况下访问它，但这本质上是不安全的。

于 2019-03-13T00:31:59.123 回答
0

在这种情况下，在本地安装 GCS 连接器可能会起作用。它不需要 VPC/VPN。

于 2021-05-20T18:34:47.037 回答