有什么方法可以使用 WebHDFS REST API 从 HDFS 下载文件？我最接近的是使用打开操作来读取文件并保存内容。

是否有任何API可以让我直接下载文件而无需打开它？我浏览了官方文档并尝试了谷歌，但找不到任何东西。有人可以指出我正确的方向或给我一些指示吗？

非常感谢您宝贵的时间。

我正在使用 Webhdfs 在我的 hdfs 集群中存储文件。在 conf 文件中，我提到了复制因子为 2。使用 Webhdfs api，第一个 PUT 请求告诉我们要放置文件的数据节点的位置，并使用响应中的地址，我们使用第二个 PUT 请求。现在既然我们提到了复制因子是 2，文件将被复制到另一个数据节点，我们知道 2 个文件中第一个文件的位置，是否有可能获得第二个文件的位置，它是哪个数据节点位于？提前致谢

现在我正在通过 HttpFS 摄取日志，这在绝对数量上分崩离析。出于性能原因，我无法在边缘运行 JVM。所以我正在考虑使用本机协议进行摄取（我听说它是​​ IPC 或原始网络套接字魔术）

webhdfs HttpFS 底层

hadoop fs -put localfile -fs webhdfs://datanode:14000/hadoopfile

高清晰度电视？？底层是什么

hadoop fs -put localfile hdfs://namenode/hadoopfile

我需要将一些文件从我的客户端应用程序放入 HDFS。我不打算为 hadoop 安排工作，只需要将一些东西放入 HDFS。

Maven 对 hadoop-core 的依赖带来了很多东西，比如 jersey-core 等，我根本不需要。

是否有任何简单的客户端库可以与 HDFS 一起使用而无需获得完整的 hadoop 依赖项堆栈？我可以使用的最小的 Maven 依赖项是什么？

webhdfs是唯一的选择吗？

有没有办法获取hdfs中所有目录和文件的最后修改时间？我想创建显示信息的页面，但我不知道如何在一个 .txt 文件中获取最后一个 mod 时间。

我拼凑的一个 Java 客户端可以工作：

但是 curl 和 Python whoops 客户端都以类似的方式失败，curl 在这里：

whoops 客户端因“连接被拒绝”而失败。这里有什么问题？我唯一的线索是使用 curl 时 java 异常中的“user=dr.who”，但我不知道配置类使用的用户是什么或如何获取它（如果这是问题的根源）。请帮忙！

我想使用 Amazon 的 Elastic MapReduce 并在大约 2TB 的数据上运行一个 pig 脚本。问题是我必须使用 PigStorage，因为我需要在我的程序中使用 tagsource 选项。

我不确定，但我认为 PigStorage 仅从 HDFS 加载数据。我需要它从下面的 URL 读取数据，或者我需要直接从 URL 将数据加载到 HDFS：http: //dumps.wikimedia.org/other/pagecounts-raw/2008/2008-01/

有没有办法我可以做到这一点？

http://testing:50070/webhdfs/v1/Test/asaw4zds_ssdf4_ht35-9a1a-4a7b-9n.jpg?op=OPEN

我正在使用 webhdfs 通过 hadoop 获取上面的图像我想在浏览器中缓存这个图像怎么做有没有任何机制来缓存来自 hadoop 的图像以及如何在这个 url 中隐藏端口号

我一直在尝试使用 c# 使用 WebHDFS REST API 将文件上传到 Hadoop。此代码工作正常：

br> 此代码获得 403 Forbidden：
br> 我尝试添加网络凭据，但没有成功。如何从 .NET 对我们的集群进行身份验证？集群是 RHEL5 上的 Hortonworks HDP1.3。（这篇文章中的额外空格是为了防止 http:// 成为链接）另外，我本来想使用 Microsoft 的 hadoop SDK，但它是 alpha 并且不会在我的环境中编译:(

我正在使用 Hadoop 的 HDFS 的 REST 接口作为通过网络存储文件的便捷方式。为了测试，我按照以下说明在我的 mac（10.8.5）上安装了 hadoop：

http://importantfish.com/how-to-install-hadoop-on-mac-os-x/

这就像一个魅力，我能够启动 hadoop 并运行一个基本测试：

hadoop-examples-1.1.2.jar pi 10 100

现在，我正在使用 python 客户端来处理与 webhdfs 之间的 HTTP 请求：

http://pythonhosted.org/pywebhdfs/

但是当我尝试创建一个目录时，我遇到了一个基本的权限错误：

回溯（最后一次调用）：
文件“”，第 1 行，在
文件“/Library/Python/2.7/site-packages/pywebhdfs/webhdfs.py”中，第 207 行，在 make_dir
_raise_pywebhdfs_exception(response.status_code, response.text )
文件“/Library/Python/2.7/site-packages/pywebhdfs/webhdfs.py”，第 428 行，在 _raise_pywebhdfs_exception 中
引发错误。PyWebHdfsException(msg=message)
pywebhdfs.errors.PyWebHdfsException: {"RemoteException":{"exception" :"AccessControlException","javaClassName":"org.apache.hadoop.security.AccessControlException","message":"权限被拒绝：user=webuser, access=WRITE, inode=\"user\":mlmiller:supergroup:rwxr -xr-x"}}

我还尝试将用户指定为“hdfs”，而不是将 python lib 的默认设置为“webhdfs”，但得到了相同的结果。阅读 30 分钟后，我放弃了，并意识到我不了解 hdfs 用户、hadoop 安全性（我在安装指令后启用）以及我的 unix 用户和权限之间的相互作用。