问题标签 [webhdfs]

当使用“hdfs dfs -put”获取文件时，客户端计算校验和并将输入数据+校验和发送到 Datanode 进行存储。

当使用 WebHdfs 读/写 File 时，这个校验和计算/验证是如何发生的？WebHdfs 如何保证数据完整性？

Apache 上的 Hadoop 文档没有提及任何关于它的内容。

我正在使用 curl 命令访问 hadoop(webhdfs)，对于 http 响应解析，我正在使用 python。

但是在触发 curl 命令后，会返回多个响应。

我如何在 python 中解析这些多个响应？

谢谢

我正在研究 Hadoop，但正在寻找更好的开源 HDFS 资源管理器。以Apache Hue结束。

对于 Linux，有手册，但对于 Windows 呢？

我找不到有关 Hadoop HDFS 是否可以支持暂停/恢复文件下载和上传的信息。HDFS 是否为此提供了开箱即用的功能，如果没有，是否可以使用 mapreduce 作业来实现？说，当上传（或下载）一个大文件时，我想暂停并稍后继续，我正在从 Web 浏览器（HTTP 连接，webhdfs？）或通过 Java 程序以编程方式（可能使用 HDFS API）寻找此功能.

我用命令在 hadoop 上运行水槽

现在我无法保存推特数据。它显示错误。我在下面发布了错误。你有什么想法吗？？

我们有一个文件源，每个文件的大小从几 MB 到几 GB 不等。每个文件都有唯一的名称，并且可以映射到一个人。然而，个人信息来自不同的来源，但它不在文件系统中。

现在，我们需要将所有文件移动到 HDFS 并构建 UI 以将人员信息添加到文件中，并稍后根据人员信息搜索文件。

我正在考虑每晚使用 WebHDFS 移动文件（以便我们可以使用 knox 保护集群）并构建 UI 以将人员信息添加到 HBase 并将人员链接到适当的文件（用户可以将文件名映射到人员）。每个 HBase 记录都会有人员信息和 hdfs 文件的路径。

我想知道上述架构是否有任何不好的影响。可以在 HBase 记录中包含 HDFS 文件路径吗？

I am using Web HDFS REST client, I am able to upload .xml & .q files.

Useful part of code -

I am getting issue while uploading .jar. Uploaded file is corrupted.

What should I set in "Content-type" and ""Accept"" for uploading jars?

我正在尝试使用命令行中的 webhdfs 从 cdh5 机器打开 cdh4 集群上存在的 hdfs 文件，如下所示：

即使文件 JSONML.java 存在于 namenode 和 datanode 的上述路径中，我也会收到“文件未找到异常”，并且它的跟踪如下：

但是当我使用以下命令时，我没有收到任何错误并获得上述文件的状态：

我得到如下输出响应：

关于打开文件失败和修复原因的任何想法将不胜感激。

嗨，我正在使用 pywebhdfs python lib。我通过调用并尝试在 HDFS 上创建文件来连接 EMR。我正在低于异常，这似乎与我正在执行的操作无关，因为我在这里没有达到任何连接限制。是因为 webhdfs 的工作原理吗

抛出：

requests.exceptions.ConnectionError: HTTPConnectionPool(host='masterDNS', port=50070): Max retries exceeded with url: /webhdfs/v1/user/hadoop/data/myfile.txt?op=CREATE&user.name=hadoop（由NewConnectionError(': 无法建立新连接: [Errno 115] Operation now in progress',))

/user/X/.Trash在 core-site.xml 中为 hdfs 添加以下配置后，使用 webhdfs 删除 API 时不会创建文件夹。

期望是，所有已删除的文件必须在.Trash垃圾间隔的文件夹中。但是，它在使用 hadoop 命令 ( hadoop fs -rm /test/1) 时有效。有人知道吗？