问题标签 [httpfs]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - httpfs for hadoop apache 下载
我在 Centos 7 操作系统上使用 Apache Hadoop-2.7.1。
要设置 HttpFs，此链接建议安装 HttpFs。我没有找到任何可用的二进制文件。
是否有另一种方法可以为 Hadoop 配置 HttpFs？
hadoop - httpfs 错误 操作类别 READ is not supported in state standby
我正在研究 hadoop apache 2.7.1，我有一个由 3 个节点组成的集群
nn1
nn2
dn1
nn1 是 dfs.default.name，因此它是主名称节点。
我已经安装了 httpfs 并在重新启动所有服务后当然启动了它。当 nn1 处于活动状态且 nn2 处于待机状态时，我可以发送此请求
从我的浏览器中，会出现一个打开或保存此文件的对话框，但是当我终止在 nn1 上运行的名称节点并正常重新启动它时，由于高可用性，nn1 变为待机状态，而 nn2 变为活动状态。
所以这里 httpfs 应该可以工作，即使 nn1 成为待机，但现在发送相同的请求
给我错误
httpfs不应该克服nn1待机状态并带文件吗？是因为配置错误，还是有其他原因？
我core-site.xml的是
hadoop - HttpF 优于高可用性和名称服务
我在由三个节点组成的集群上使用 Apache Hadoop-2.7.1
我们知道如果我们在这个集群中配置高可用
我们将有两个主节点，一个是活动的，另一个是备用的
如果我们也将集群配置为由名称服务调用，那么以下场景就可以了
情况是：
1- nn1 处于活动状态，而 nn2 处于待机状态
所以如果我们想从 dn1 获取文件（称为 myfile），我们可以从浏览器发送这个 url（webhdfs 请求）
http://nn1/webhdfs/v1/hadoophome/myfile/?user.name=root&op=OPEN
2- nn1 中的名称节点守护程序被杀死，因此根据高可用性，nn1 处于待机状态，而 nn2 处于活动状态，因此我们现在可以通过向 nn2 发送此 Web 请求来获取 myfile，因为它现在处于活动状态
http://nn2/webhdfs/v1/hadoophome/myfile/?user.name=root&op=OPEN
因此配置具有高可用性的名称服务足以解决名称节点故障并让 webhdfs 正常工作
那么在这里添加httpfs有什么好处，因为不支持高可用性的webhdfs，我们必须配置httpfs
hadoop - 活动名称节点崩溃时不会触发故障转移
我在由三个节点组成的集群上使用 Apache Hadoop-2.7.1
nn1 主名称节点
nn2（第二个名称节点）
dn1（数据节点）
我已经配置了高可用性，并且 nameservice 和 zookeeper 在所有三个节点上都工作
，它作为领导者在 nn2 上启动
首先，我必须提到 nn1 处于活动状态，而 nn2 处于待机状态
当我在 nn1 上杀死名称节点时
,nn2 变为活动状态，因此正在发生自动故障转移
但在以下情况下（我在 nn1 处于活动状态且 nn2 处于待机状态时应用）并且是：
当我关闭 nn1 时（nn1 整个崩溃）
nn2 保持待机并且不会变为活动状态，因此不会发生自动故障转移
日志中有明显错误
nn2 和 dn1 上的两个现有日志节点不应该发生自动故障转移
可能的原因是什么？
http - 如何为基于 HTTP 的文件服务器实现重命名功能？
我必须实现一个具有一些文件服务器功能的 HTTP 服务器。我已经编写了 HTTP HEAD、GET、PUT 和 DELETE 请求。
接下来我需要实现类似 RENAME 或 MOVE 来更改已经存储在服务器上的文件的名称。但我找不到合适的 HTTP 请求方法。
知道如何做到这一点，或者这可能是不可能的吗？
java - Httpfs 使用 httpclient 创建或附加文件
我使用 HTTPCLIENT 创建或附加带有其他组件 HTTPFS 的文件。
示例 cmd curl - 使用 curl
但是当我执行请求时，程序返回 ERROR com.vhl.action.WebHdfsAction - null
我的代码创建：
curl - cURL 中的身份验证从 Windows 到使用 Kerberos 保护的 Hadoop HTTPFS
我想使用带有 curl 的 HTTPFS 将数据从本地 Windows 机器加载到 HDFS。Hadoop 集群由 Kerberos 保护。
我如何设法完成身份验证？
尝试以下语句时...
它失败了
卷曲版本是：
我为 Windows 安装了 MIT Kerberos，它显示了一张有效的票。不幸的是，我对 Kerberos 了解不多，这就是为什么我有点卡住了。
非常感谢任何帮助或研究起点。
scala - 如何使用 Scalaj-Http 和 Hadoop HttpFs 流式下载
我的问题是在使用 Scalaj-Http 时如何使用缓冲流。
我编写了以下代码，这是一个完整的工作示例，它将使用 HttpFS 从 Hadoop HDFS 下载文件。我的目标是处理非常大的文件，这将需要使用缓冲方法，将多个 I/O 写入本地文件。
我无法找到有关如何使用 ScalaJ-Http 接口的流的文档。我对可以处理大型多 GB 文件的下载和上传示例感兴趣。我下面的代码用于仅适用于原型设计的内存缓冲。
hadoop - 尝试使用 HttpFS 访问目录时出现 NullPointerException
我有一个运行 Hadoop 2.6.0-cdh5.4.1 的集群。我想使用 webhdfs rest api 在目录中创建一个文件。我有 2 个目录，称为 directory1 和 directory2，都在 / 中。
它们都具有相同的权限（711）、所有者和组。
以下命令成功：
而以下
抛出错误
{“消息”：null，“异常”：“NullPointerException”，“javaClassName”：“java.lang.NullPointerException”}。
两个命令的 DatanodeUrl 和 HttpFSPort 相同。directory2 上的所有 webhdfs 请求都失败并出现相同的错误 (NullPointerException)，而所有 webhdfs 请求都在 directory1 上工作。
您有什么想法会导致此错误吗？
谢谢你。
