hadoop - 将数据从 Hadoop 传输到 Google Cloud Storage 时如何加快 distcp

Question

谷歌云提供了使用 Hadoop 的连接器。( https://cloud.google.com/hadoop/google-cloud-storage-connector )

使用连接器，我从 hdfs 接收数据到谷歌云存储

前任）

hadoop discp hdfs://${path} gs://${path}

但数据太大（16TB），接收速度只有 2mb/s

所以，我尝试更改设置 distcp （地图属性，带宽属性...）

不过速度是一样的。

将数据从 HDFS 传输到 Google Cloud Storage 时如何加快 distcp

Answer 1

官方文档指出，将数据从本地集群传输到 GCP 的最佳选择之一是使用 Internet 上的VPN隧道，甚至使用多个VPN 隧道来增加带宽。

提出的其他选项是在 Google 的边缘接入点 ( PoP ) 和您的网络之间使用直接对等互连，或者在Cloud Interconnect 服务提供商的帮助下建立与 Google 网络的直接连接。