问题标签 [cloudera]

我写了一份工作，他的角色之一是在 HDFS 中复制很多非常大的文件。我发现使用 FileUtil.copy() 效率不高。

有没有更有效的方法来做到这一点？我听说 DistCp.java 比 FileUtil.copy() 更好吗？有 DistCp.java Cloudera 实现吗？

当我们使用 Streamer jar 运行 hadoop 程序和使用程序的 jar 文件运行它时有什么区别？

我从这里开始执行安装过程，当我到达Inspect Role Assignments阶段时，我只看到一个托管主机：localhost.localdomain.

任何后续添加其他主机的尝试都会产生相同的结果：

• 每个集群主机安装成功
• 并且主机未显示为托管

我错过了什么？

更新：我不喜欢回答自己的问题，所以我在这里写下我的答案。

解决方案非常明显，以至于我看不到它，并且在很长一段时间内都没有解决问题，直到在进行一些检查时遇到了问题。

hostname安装时提供的 IP 是为 IP 设置的，/etc/hosts这127.0.0.1对localhost.localdomainCloudera 设置具有误导性，基本上使所有主机都具有相同的 IP 和主机名。

我已经重新进行了设置，hostname.domain.local现在该hosts文件具有一个单独的行，其中包含特定的 IP 和主机名，并且该/etc/resolv.conf文件具有与search domain.local.

即使你经历了这次不愉快的经历，我认为安装文档应该包含这些小细节，但这就像是在陈述显而易见的事情。

我从 cloudera 下载并设置了 hadoop-cdh3u2。在 hadoop-0.20.2-cdh3u2/src/contrib 我找到了一个名为“eclipse-plugin”的项目，我在 eclipse 中导入了它，得到了错误，并添加了 hadoop-core.jar 作为 eclipse 应用程序运行，但我不能添加一个新服务器（我是否需要更新“MANIFEST.MF”中的任何内容）？？。我收到以下错误。我想知道将这个项目导出到 jar 中是正常过程，还是我需要做任何额外的事情？？？

eclipse版本为indigo，平台Ubuntu 11.10，java版本为1.6

我试图找出 Map 任务的输出在被 Reduce 任务使用之前保存到磁盘的位置。

注意： - 使用的版本是带有新 API 的 Hadoop 0.20.204

例如，在 Map 类中覆盖 map 方法时：

我很想知道 context.write() 最终在哪里写入数据。到目前为止，我遇到了：

这给了我在 hdfs 上的以下位置：

当我尝试将其用作另一项工作的输入时，它给了我以下错误：

注意：该作业是在 Mapper 中启动的，因此从技术上讲，当新作业开始时，Mapper 任务正在写入其输出的临时文件夹就存在。话又说回来，它仍然说输入路径不存在。

关于临时输出的写入位置有什么想法吗？或者，在同时具有 Map 和 Reduce 阶段的作业期间，我可以在哪里找到 Map 任务的输出？

我正在编写 hadoop 程序，我真的不想玩已弃用的类。在网上任何地方我都找不到更新的程序

org.apache.hadoop.conf.Configuration

安装类

org.apache.hadoop.mapred.JobConf

班级。

这就是我的 main() 的样子。可以请任何人为我提供更新的功能。

我尝试在 Ubuntu 11.04 和 Java 6 sun 上安装 Hadoop。我正在使用 hadoop 0.20.203 rc1 构建。我在使用 java-6-sun 的 Ubuntu 11.04 上反复遇到问题。当我尝试启动 hadoop 时，由于“无法访问存储”，datanode 无法启动。

我已经尝试从 Apache 甚至 cloudera 升级和降级到 0.20 分支中的几个版本，也再次删除和安装 hadoop。但我仍然遇到这个问题。典型的解决方法（例如删除 /tmp 目录中的 *.pid 文件）也不起作用。有人可以指出我的解决方案吗？

我已经安装了 hadoop 和 hbase cdh3u2。在 hadoop 中，我在路径中有一个文件/home/file.txt。它有类似的数据

我想将此文件导入 hbase。其中，第一个字段应解析为字符串，第二个字段应解析为整数，然后将其推入 hbase。帮我做这件事

提前谢谢....

Version: HBase Cloudera CDH3U2.

I Have inserted a long datatype value into HBase using Java API.

Here I m getting the keyValueList.size() is zero, and if I m not applying any filters, I m getting keyValueList.size() is 3, and the values are (1,5,7).

I want the result of 5 and 7.

Help me to do this.

Thanks in advance

命令 ：

错误信息：