rest - webhdfs 两步上传文件

Question

我用 4 台机器构建了一个 hadoop 集群：

• {主机名}：{IP 地址}
• 主人：192.168.1.60
• 从机1：192.168.1.61
• 从机2：192.168.1.62
• 从机3：192.168.1.63

我使用 HttpFS 以 restful 的方式将文件上传到 hdfs，其中包含两个步骤来完成任务。

• 第 1 步：提交 HTTP POST 请求，不自动跟随重定向，也不发送文件数据。

  curl -i -X 发布“ http://192.168.1.60:50070/webhdfs/v1/user/haduser/myfile.txt?op=APPEND ”

服务器返回结果如下：

位置：http://slave1:50075/webhdfs/v1/user/haduser/myfile.txt?op=CREATE&user.name=haduser&namenoderpcaddress=master:8020&overwrite=false

• 第二步：使用响应地址上传文件。

在第 1 步中，如何获取数据节点的 IP 地址（192.168.1.61）而不是主机名（slave1）？

Answer 1

如果您的 hadoop 版本>=2.5，则在每个数据节点配置${HADOOP_HOME}/etc/hadoop/hdfs-site.xml文件。添加：属性dfs.datanode.hostname，值为datanodes的ip地址。