问题标签 [webhdfs]

我有一些与 HDFS 相关的文件，我想浏览图像。块大小已减少到 64b，因此文件不能立即读取。我按照该教程https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsImageViewer.html获取所有文件和目录的信息，但是当我执行命令hdfs dfs -ls -R webhdfs://127.0.0.1:5978/它只显示没有任何文件的目录。

是不是因为块太小了，如果是这样，我该怎么做才能增加它？请帮忙..

谢谢

我想在 HDFS 中删除某个文件/目录时收到通知。还可以生成一种带有时间戳、受影响的文件/目录等的日志文件。由于可追溯性要求，我需要这个。

是否有任何脚本、软件等来完成此类任务？

由于 Kerberos 安全性，我无法从浏览器（IE8）访问 WebHDFS。谁能帮我解决这个问题？

我用“卷曲”效果很好

curl -i --negotiate -u:qjdht93 "http://:50070/webhdfs/v1/user/qjdht93/?op=LISTSTATUS"

以下是“http://:50070/webhdfs/v1/user/qjdht93/?op=LISTSTATUS”的浏览器错误</p>

我发现下面的链接解释了访问受 Kerberos 保护的 URL 的步骤，可能有用

http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_sg_browser_access_kerberos_protected_url.html

I have a Hadoop cluster with Kerberos enabled I want to put files on HDFS using a windows/linux machine outside the cluster.

Hadoop admin team have provided me with username to access hadoop and keytab file, how should I use them in my java code?

I went through many resources on internet but none of them give any guide for accessing kerberized hadoop from outside the cluster.

Also, Is it necessary to run the code using hadoop jar? if yes how will I run it fromo outside the cluster

Reference

I got kerberos working ,able to generate ticket now

But curl is not working(windows)

Gives error as

Please suggest

我正在使用 WinInet 尝试将文件上传到 Hadoop。我正在做我能正确想到的一切。IOW，我正在关注 WebHDFS 的 REST API，包括获取重定向，然后使用重定向中提供的 URI 发送新请求。当我发出第二个请求时，我可以从 Fiddler 的间谍活动中看到它返回的 HTTP 状态代码为 201，就像它应该的那样。

第二个请求类似于：

1. HttpOpenRequest()使用 PUT 动词调用 WinInet 所需的东西（成功）
2. HttpSendRequestEx()使用除 hRequest 之外的所有 NULL 调用（成功）
3. 使用将数据写入文件InternetWriteFile()（成功写入的正确字节数与我尝试写入的字节数相同）
4. 调用HttpEndRequest()（成功）

一切都成功了，数据应该在服务器上。相反，只有一个空文件。如果我使用 curl 尝试同样的事情，它会成功。如果我使用 Fiddle 监视 WinInet，我会看到一切都成功，除了我从未看到数据写入服务器。

我调用 HttpEndRequest() 后返回的标头是：

我的直觉说我正在做的 InternetWriteFile() 中有一些东西搞砸了，但是所有的返回码和写入值都检查得很好。

使用 WinInet 进行 PUT 是否有我遗漏的任何技巧？

我正在使用 webhdfs 将数据从本地文件系统摄取到 HDFS。现在我想确保摄取到 HDFS 中的文件的完整性。

如何确保传输的文件没有损坏/更改等？

我使用下面的 webhdfs 命令来获取文件的校验和

我应该如何使用上述校验和来确保摄取文件的完整性？请建议

以下是我正在遵循的步骤

本地系统上文件的校验和与 HDFS 上的相同文件不同我需要比较校验和我该怎么做？

我有一个在 Docker 容器中运行的 Spark 映像。我想从容器外的主机使用 WebHDFS 访问 Spark 在 HDFS 中保存的结果。为此，我使用的是OPEN API，它在提供文件内容之前有一个重定向。我-P在运行 docker 映像时使用标志转发所有端口。

我可以使用主机上暴露的高端口执行其他操作，例如列出目录。但是对于读取文件，REST 调用会失败，因为存在 HTTP 重定向。

有什么想法可以解决这个问题吗？

我正在使用 curl(webhdfs) 读取驻留在 HDFS 上的文件，但问题是数据我也正在获取 HTTP 标头，我如何才能仅获取没有标头的文件数据？

我正在使用以下命令。如果我要删除“i”选项，则不会给出输出

请建议

假设我有一个文本文件（大小 1 GB）。我想从文件中搜索特定的单词，如果找到，应该返回行号。

我可以在 linux 中使用命令行执行我的 java 程序。但我想要的是一些使用 REST API 的接口。

当我在 GUI(My Interface) 中提交该单词并提交请求时，它应该能够调用 HDFS ，命令应该由它自己提供并且它应该返回我的结果。

你怎么能解决这个问题？（我对 REST API 有非常原始的知识）

参考

https://hadoop.apache.org/docs/r1.0.4/webhdfs.html#ParameterDictionary[]

https://www.youtube.com/watch?v=7YcW25PHnAA

我需要在 Hive 中创建一些表，为此我想在 hdfs 中插入数据，以便自动创建一个 hive 表。

我考虑这个例子：

我需要将这些信息存储在 Hive 中。你能告诉我一个如何在 HDFS 中插入数据的例子吗？