问题标签 [webhdfs]

I am trying this command on my hadoop cluster (Cloudera 5.4.1)

Here I have confirmed that webhdfs, namenode machine names are all correct and ports 50075 and 8022 are correct.

But I get an error

我在 HDFS 中的路径 /user/admin/foo.txt 创建了一个简单文件

我可以在 Hue 中看到这个文件的内容。

我如何发出命令

我得到回应

为什么内容长度：0？我希望这会列出文件的内容。

我需要将大文件（至少 14MB）从 FIWARE 实验室的 Cosmos 实例传输到我的后端。

我使用 Spring RestTemplate 作为此处描述的 Hadoop WebHDFS REST API 的客户端接口，但遇到了 IO 异常：

这是生成异常的实际代码：

我认为这是由于 Cosmos 实例上的传输超时，所以我尝试curl通过指定offset, buffer and length参数在路径上发送一个，但它们似乎被忽略了：我得到了整个文件。

提前致谢。

我有一个 hdfs 集群（hadoop 2.7.1），有一个名称节点，一个辅助名称节点，3 个数据节点。

当我启用 webhdfs 并进行测试时，我发现它总是重定向到未配置为数据节点的“localhost:50075”。

etc/hadoop/slaves 配置为：

有这方面的配置吗？

谢谢！

我已经在所有这些链接中阅读了有关 Web Hdfs 的信息

链接 1 链接2 链接3

使用 telnet 检查 - 端口已打开

在 cloudera（虚拟框）中进行了所需的设置，以使 webhdfs 能够直接在 cloudera 上进行测试：

直接在 cloudera 网络浏览器上尝试也适用于：

我可以发送 PINGC:\Users\User>ping 10.0.0.88

Telnet 为端口 50070 工作。

但是当在集群外尝试这个命令时它不起作用（主机）

更多信息
LISTSTATUS 来自 HOST

返回

但是 op=从主机打开

返回

可能是什么问题呢 ？

我正在尝试查看删除选项是否适用于 webhdfs：

但我得到一个错误：

此文件具有所有权限 (777)。

我还应该检查什么以允许通过 Amazon EMR WEBHDFS 删除选项

关于我的开发环境的一些信息：

开放堆栈：朱诺

Hadoop：2.4.1

pywebhdfs：0.4.0

我通过 openstack sahara 客户端 API 创建了一个 hadoop 集群，然后我想使用pywebhdfs创建一个文件到 HDFS （用于在创建的 hadoop 集群上启动作业）。但是在创建HDFS文件的时候出现错误，错误信息是：

我检查了 /etc/hosts，列出了所有节点的 ip 和主机名。有谁知道如何检测可能的问题？谢谢

我对 Hadoop 很陌生，我想将半结构化数据 - XML 导入 HDFS。将 XML 数据从远程位置导入 HDFS 和任何用于它的开源工具的方法是什么？Flume 可以将 XML 数据导入 HDFS 吗？提前致谢

我使用apache-httpclientandwebhdfs创建文件（.jar）并将其上传到 HDFS。最后，它以 201 和 content-length=0 响应。

但是当我在HDFS上找到这个文件时，它的长度是0。怎么了？我应该怎么做才能上传 jar 文件？

REST API 就是这样。 在此处输入图像描述

我正在使用 webhdfs 库将文件移动到 hdfs（hadoop 文件系统），例如：

问题是在每种情况下都会触发完成回调，即错误和成功，所以我如何识别成功。