问题标签 [webhdfs]

我们有一个 Windows 应用程序，它通过 WebHDFS 客户端（在孵化器阶段）http://hadoopsdk.codeplex.com/wikipage?title=WebHDFS%20Client&referringTitle=Home 到 Cloudera Hadoop 安装可以正常通信。下一阶段是通过 http 建立 Kerberos 身份验证。我很难在 Windows 客户端和 Linux/Apache 服务器之间找到很多关于这个主题的内容。

我见过的大多数示例都使用 cURL --negotiate 作为机制： http ://hadoop.apache.org/docs/r1.0.4/webhdfs.html#Delegation+Token+Operations

我为 .Net 找到的所有其他内容都非常低级 http://msdn.microsoft.com/en-us/library/ms995331.aspx

有什么我可以使用的还是我必须编写自定义代码？

我正在使用 MultiPartEntity 执行 HttpPut，以通过 webHDFS REST API 将文件写入 HDFS。请求本身通过并给了我正确的响应，307 和 201。但是，图像具有多部分标头，如下所示，它也作为其一部分写入，它不是一个有效的图像来检索和打开。

--8DkJ3RkUHahEaNE9Ktw8NC1TFOqegjfA9Ps
内容配置：表单数据；名称=“文件”；filename="advert.jpg"
Content-Type: application/octet-stream

ÿØÿàJFIFHHÿÛC // 其余图片内容
--8DkJ3RkUHahEaNE9Ktw8NC1TFOqegjfA9Ps

从图像文件中删除多部分标题，使其成为有效图像，但我不知道如何才能避免它开始。我什至不确定我是否可以控制它，因为 webHDFS 负责实际写入文件。

这是我的代码。还有什么我应该做的吗？

任何帮助表示赞赏。

我已经使用 Kerberos (CDH4.3) 配置了启用安全性的 Hadoop HDFS。它工作正常，我可以使用命令行工具完成所有操作。还有一些其他非 hadoop 集群节点需要通过 REST API 访问 HDFS 文件系统，所以我启用了 webhdfs 并配置了 Kerberos。

我的安全 webhdfs 适用于不涉及临时重定向的操作：即 LISTSTATUS、创建目录、删除目录、删除文件，一切正常。但是对于创建文件、打开文件等两步操作，它失败并显示以下信息：

有没有人可以点亮一些灯？

非常感谢，

我正在尝试设置一个环境，在其中我在本地运行一些后端，并从我的本地计算机向 EC2 实例发送请求。我有 CDH 4.5 设置，它工作正常。当我运行以下请求时

这适用于该区域中的任何 EC2 实例，但不适用于该区域之外。如果我在本地尝试，它将返回以下错误

不确定我可以在哪里设置它不以这种方式重定向呼叫？

非常感谢

我正在尝试通过 webhdfs API 从 HDFS 打开一个文件。我可以创建文件并上传它们，但是一旦我尝试打开我就会收到这个错误

使用以下命令

我从多台机器（从主节点或远程）上尝试过这个，我得到了同样的错误。它在 CHD4.6 上运行。

谢谢，

我想使用 gem 'webhdfs' 将文件分块上传到 HDFS。我在文档中看到有一个创建方法，但我不确定如何使用它并分块上传大文件。有没有人试过这个？

我正在尝试使用 C# 应用程序从 Hadoop 集群执行上传/下载文件，但我无法从文档中找到上传和下载的 API。

那么你能告诉我如何使用 RestAPIs 从 Hadoop 上传和下载文件吗？

谢谢

将数据从 HDFS 加载到 vertica 时出现以下错误

我只是停止以前工作的数据库并在 Vertica 中创建了新数据库。然后我跑了

当我尝试使用以下命令从 HDFS 加载数据时

我收到以下错误：

我需要阅读有关 node.js 和 HDFS 的信息。我与 Centos 一起工作。我在 HDFS 中有一个文件，我想在控制台中读取和打印它。我写了一个 node.js 程序来写一个文件，它可以工作。但是当我想打印 HDFS 文件时，它不起作用。

这是我的代码：

有人可以向我提供有关 HDFS 和 node.js 的信息吗？

你好朋友我正在开发一个 web 应用程序，我需要编写一个 map reduce 代码来处理来自 Hadoop 分布式文件系统的数据，并根据 reducer 输出绘制各种图形，所以我在 eclipse 中用 Java 开发应用程序，所以我怎么能做这个？