azure - 如何将数据从本地 HDFS 迁移到 Azure 存储

Question

我想将数据从我的本地本地 HDFS 服务器移动到我的 Azure HDinsight 群集。

我尝试了 distcp 命令，但它不了解数据湖存储路径。

Answer 1

将本地 Hadoop 连接到 ADLS 的步骤：

步骤 1：创建 Azure Data Lake Store 帐户。

步骤 2：创建身份以访问 Azure Data Lake Store。

第3 步：修改本地 Hadoop 集群中的 core-site.xml。

第 4步：测试从本地 Hadoop 到 Azure Data Lake Store 的连接。

第5 步：使用 DistCp 将数据从本地 Hadoop 传输到 Azure Data Lake Store。

句法： hadoop distcp <HDFS_Path> <ADLS_PATH>

例子：hadoop distcp README.txt adl://mydatalakename.azuredatakestore.net/

有关更多详细信息，请参阅“将本地 Hadoop 连接到 Azure Data Lake Store ”和将本地 Apache Hadoop 集群迁移到 Azure HDInsight - 数据迁移最佳实践。

希望这可以帮助。