azure - 使用 distcp 时，本地是否支持 wasb 协议？

Question

我想将我的工作负载从本地迁移到 azure blob。我可以使用 distcp 将工作负载转移到 azure 吗？因为它是 blob，所以我将在我的目标参数中使用 wasb。在这种情况下，wasb 会起作用吗？

Answer 1

注意： DistCp（分布式副本）是用于大型集群间/集群内复制的工具。它使用 MapReduce 来影响其分布、错误处理和恢复以及报告。它将文件和目录列表扩展为映射任务的输入，每个任务都将复制源列表中指定的文件的一个分区。

如果你有一个可以访问 Data Lake Store 的 HDInsight 群集，则可以使用 Distcp 等 Hadoop 生态系统工具将数据复制到 HDInsight 群集存储 (WASB) 和从 Data Lake Store 帐户复制数据。本文提供有关如何使用 Distcp 工具的说明。

如果你想在 Azure Blob 之间传输数据，可以参考以下文章：

在 Windows 上使用 AzCopy 传输数据。

在 Linux 上使用 Azcopy 传输数据。

Answer 2

如果将fs.azure属性添加到 core-site.xml，则可以在任何与 Hadoop 兼容的文件系统与 Azure 之间进行 distcp

有关示例，请参阅文档