问题标签 [webhdfs]

我已经在 windows 中使用 SASL 为 hadoop-2.6.0 配置了 kerberos 安全性。

一切正常。但是 webhdfs 不能通过 https 协议工作。

我刚刚用 https://hostname:50470/webhdfs/v1/?op=LISTSTATUS 进行了测试

我设置了以下属性。但仍然有同样的错误。

帮助将不胜感激。

谢谢。

WebHDFS 为“重命名”、“删除”和其他基本文件操作提供挂钩。但这里没有用于复制的 API 挂钩。有人介意解释它或任何好的解决方法吗？

谢谢！

我使用ffmpeg + libx264将文件格式转换为H264，然后将文件上传到Hadoop。我使用WebHDFS通过HTTP访问文件，但无法在线播放。如果我通过 HTTP 下载这个文件，它可以播放 HTML5 视频。我的英语很差，希望你明白我的意思。

我有一个集群命名节点设置。命名节点配置为主动和被动。

当我进行 WEBHDFS 调用时，要提供的 URL 是

http://:/webhdfs/v1/

因为我有 2 个可用的命名节点，所以我有 2 个可用的 URL

http://:/webhdfs/v1/ - 现在是活跃的 http://:/webhdfs/v1/ - 现在是被动的

我的问题是：命名节点可以随时进行故障转移。我在 HOST 中提供什么价值？我应该提供服务名称吗？是否有通常在 HDP 平台中配置的虚拟 IP 来处理重定向？

或者我应该在命名节点前面放置一个负载平衡器或网关，以便在不影响调用应用程序的情况下处理故障转移。

我正在做一个研究项目，我需要为 HDFS 创建某种代理，以便我们可以捕获对 HDFS 的调用并应用一些访问/拒绝（文件）策略，然后再将其返回给用户。对于像 HttpFs 和 WebHDFS 这样的 HDFS 接口，很容易设计代理系统，因为它们使用 HTTP 与客户端通信。但是 HDFS 驱动程序使用使用协议缓冲区定义的协议在客户端和名称节点之间进行通信。HDFS 代码中是否有任何钩子可以围绕 HDFS 本​​机协议设计代理。Hadoop 版本是 2.6。

1. 我使用两台主机（hadoop-coc-1 和 hadoop-coc-2）来尝试在其中配置 HDFS 联盟。因此，我$ cat etc/hadoop/hdfs-site.xml在两台主机（hadoop-coc-1 和 hadoop-coc-2）中都配置了。

两个 HDFS 都与 WebHDFS 一起正常运行。但是，使用此配置，defaultFS 服务未运行。也许这是我无法将数据从本地磁盘复制到 HDFS 的原因。

我尝试使用以下命令复制数据：

我不明白为什么我不能将数据从本地磁盘复制到使用 WebHDfS 协议的 HDFS。对理解这个错误有什么帮助吗？为什么我无法将数据从本地磁盘复制到 HDFS？我配置好 hdfs-site.xml 了吗？

hadoop-coc-1 和 hadoop-coc-2 主机中的 hdfs-site.xml。

2. HDFS 联盟允许有多个命名空间来访问 HDFS。使用我的配置（参见 hdfs-site.xml），hadoop-coc-1 和 hadoop-coc-2 主机具有同一个 HDFS 的命名空间。我想知道是否可以在使用相同 HDFS 的每个主机上运行两个 YARN 运行时？

我正在关注有关我的 webHDFS (2.6) 版本的文档，并尝试附加到系统中已经存在的文件。

让我感到困惑的问题是，文档说在执行初始 POST 后我将收到一个重定向到适当的数据节点，但是我实际上得到了 200，并且我在正文中传递的任何数据都被正确附加在第一个请求中.

如果我只需要提出一个请求，这一切都很好，但我想确保这将在其他 hadoop 环境中工作，我担心的是我没有得到文档中承诺的 307 响应。我在分布式模式下运行（尽管只是在我的本地机器上）。有人遇到过这个吗？

我使用以下配置在 ubuntu 14.04 上运行 td-agent：

目录/path/tomcat/logs/file-input.log中的日志源文件仅包含结构化的 json 数据。Ntp 守护程序已安装并正在运行，但是当 td-agent 在 hdfs 中创建文件时，文件名的日期为 19700101。出了什么问题？

I'm trying to store files into HDFS from an application written in C++. I know you can use curl in command line/terminal:

First send a PUT request,

and then write data to the data node with the redirected address,

I want to know how to store data to HDFS directly using libcurl in c++.

Note: I'm able to send GET requests and it all works perfectly:

“资源管理器”和“hdfs namenode”是否总是安装在同一台主机上？

1）当我想发送一个 http 请求（YARN REST API）来获取新的应用程序 ID时，我正在使用这个 web uri：

此端口是 Resource-Manager Web UI http 端口，默认值为 8088，如 img1 所示：source for img1

2）当我想为 hdfs 命令发送 http 请求（WebHDFS REST API）时，例如为了获取文件状态，我正在使用这个 web uri：

这<PORT>是 NameNode WebUI http 端口，默认值为 50070，如 img2: source for img2

这些组件（ResourceManager 和 NaneNode）的主机是否始终安装在同一主机上？

任何帮助将不胜感激，谢谢！