问题标签 [hadoop-yarn]

我已经在 3 个集群上设置了 hadoop2.2.0。一切都很顺利。NodeManager 和 Datanode 在每个集群中启动。但是，当我运行 wordcount 示例时，会发生 100% 映射，并且会出现以下异常：

我已经通过互联网找到解决方案。但我查不出来。帮帮我。

我一直在玩 Hadoop 和它的姊妹项目，一路上我遇到了一些问题，但我终于找到了一个我找不到答案的问题：

我有一个以制表符分隔的文本文件形式存储在 hdfs 上的配置单元表。而且我可以在表上做一个基本的选择，但是只要我让查询变得更复杂一点，hive 就会把它变成一个 map reduce 作业，它会因以下堆栈跟踪而失败

13/11/29 08:31:00 错误 security.UserGroupInformation: PriviledgedActionException as:hduser (auth:SIMPLE) cause:java.io.IOException: Target /tmp/hadoop-> > yarn/staging/hduser/.staging/job_1385633903169_0013 /libjars/lib/lib 是一个目录 13/11/29 08:31:00 错误 security.UserGroupInformation: PriviledgedActionException as:hduser (auth:SIMPLE) cause:java.io.IOException: Target /tmp/hadoop-yarn/staging /hduser/.staging/job_1385633903169_0013/libjars/lib/lib is a directory java.io.IOException: Target /tmp/hadoop-yarn/staging/hduser/.staging/job_1385633903169_0013/libjars/lib/lib is a directory at org. org.apache.hadoop.fs.FileUtil.checkDest(FileUtil.java:502) 中的 apache.hadoop.fs.FileUtil.checkDest(FileUtil.java:500) org.apache.hadoop.fs.FileUtil.copy(FileUtil. java:348) 在 org.apache.hadoop.fs。FileUtil.copy(FileUtil.java:338) at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:289) at org.apache.hadoop.mapreduce.JobSubmitter.copyRemoteFiles(JobSubmitter.java:139) at org .apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:212) 在 org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:300) 在 org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter .java:387) 在 org.apache.hadoop.mapreduce.Job$10.run(Job.java:1268) 在 org.apache.hadoop.mapreduce.Job$10.run(Job.java:1265) 在 java.security。 AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:415) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491) 在 org.apache.hadoop.mapreduce.Job.submit(Job.java:1265) 在 org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:562) 在 org.apache.hadoop.mapred。 JobClient$1.run(JobClient.java:557) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:415) at org.apache.hadoop.security.UserGroupInformation .doAs(UserGroupInformation.java:1491) 在 org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:557) 在 org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:548) 在 org. apache.hadoop.hive.ql.exec.mr.ExecDriver.execute(ExecDriver.java:425) 在 org.apache.hadoop.hive.ql.exec.mr.MapRedTask.execute(MapRedTask.java:144) 在 org. apache.hadoop.hive.ql.exec.Task.executeTask（任务。java:151) 在 org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:65) 在 org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1414) 在 org .apache.hadoop.hive.ql.Driver.execute(Driver.java:1192) 在 org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1020) 在 org.apache.hadoop.hive.ql .Driver.run(Driver.java:888) 在 org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:259) 在 org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java :216) 在 org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:781) 的 org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:413)。 hadoop.hive.cli.CliDriver.run(CliDriver.java:675) 在 org.apache.hadoop.hive.cli.CliDriver。main(CliDriver.java:614) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)在 java.lang.reflect.Method.invoke(Method.java:606) 在 org.apache.hadoop.util.RunJar.main(RunJar.java:212) 作业提交失败，出现异常'java.io.IOException(Target / tmp/hadoop-yarn/staging/hduser/.staging/job_1385633903169_0013/libjars/lib/lib 是一个目录）'29 年 13 月 11 日 08:31:00 错误 exec.Task：作业提交失败，出现异常'java.io。 IOException（目标/tmp/hadoop-yarn/staging/hduser/.staging/job_1385633903169_0013/libjars/lib/lib 是一个目录）'java.io.IOException：目标/tmp/hadoop-yarn/staging/hduser/。staging/job_1385633903169_0013/libjars/lib/lib 是 org.apache.hadoop.fs.FileUtil.checkDest(FileUtil.java:502) 的 org.apache.hadoop.fs.FileUtil.checkDest(FileUtil.java:500) 的目录在 org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:348) 在 org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:338) 在 org.apache.hadoop.fs.FileUtil.copy (FileUtil.java:289) 在 org.apache.hadoop.mapreduce.JobSubmitter.copyRemoteFiles(JobSubmitter.java:139) 在 org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:212) 在 org.apache。 hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:300) at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:387) at org.apache.hadoop.mapreduce.Job$10.run(Job.java ：1268) 在 org.apache.hadoop.mapreduce.Job$10.run(Job.java:1265) 在 java.security.AccessController.doPrivileged(Native Method) 在 javax.security.auth.Subject.doAs(Subject.java:415 ) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491) at org.apache.hadoop.mapreduce.Job.submit(Job.java:1265) at org.apache.hadoop.mapred.JobClient$1 .run(JobClient.java:562) at org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:557) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject。 doAs(Subject.java:415) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491) at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:557) at org.org.apache.hadoop.hive.ql.exec.mr.ExecDriver.execute(ExecDriver.java:425) 在 org.apache.hadoop.hive 的 apache.hadoop.mapred.JobClient.submitJob(JobClient.java:548)。 ql.exec.mr.MapRedTask.execute(MapRedTask.java:144) 在 org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:151) 在 org.apache.hadoop.hive.ql。 exec.TaskRunner.runSequential(TaskRunner.java:65) at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1414) at org.apache.hadoop.hive.ql.Driver.execute(Driver. java:1192) 在 org.apache.hadoop.hive.ql.Driver.run(Driver.java:888) 在 org.apache.hadoop.hive.ql.Driver.run(Driver.java:888) 在 org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1020) .hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:259) 在 org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:216) 在 org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:781) 在 org.apache.hadoop 的 org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:413) .hive.cli.CliDriver.run(CliDriver.java:675) 在 org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:614) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun .reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method.invoke(Method.java:606) 在 org.apache。 hadoop.util.RunJar.main(RunJar.java:212)在 org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:675) 在 org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:614) 执行Driver(CliDriver.java:781)在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method .invoke(Method.java:606) 在 org.apache.hadoop.util.RunJar.main(RunJar.java:212)在 org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:675) 在 org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:614) 执行Driver(CliDriver.java:781)在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method .invoke(Method.java:606) 在 org.apache.hadoop.util.RunJar.main(RunJar.java:212)invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:606) at org.apache.hadoop.util.RunJar .main(RunJar.java:212)invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:606) at org.apache.hadoop.util.RunJar .main(RunJar.java:212)

有问题的文件夹确实存在于 dfs 上，至少是“/tmp/hadoop-yarn/staging”部分，无论我将其权限设置为什么，hive 或 hadoop 都会在提交作业时重置它们。真正令人担忧的部分是完整路径似乎是生成的文件夹名称，那么为什么该软件会遇到它自己生成的东西的问题呢？为什么路径是目录会出现问题？它应该是什么？

编辑：这是我正在使用的表和我正在尝试运行的查询：查询： select * from hive_flow_details where node_id = 100 limit 10;

桌子：

col_name data_type comment id bigint None
flow_versions_id int None
node_id int None
node_name string None

请记住，这发生在我尝试的任何具有任何类型 where 子句的 uery 上，因为 hive 将其转换为 MR 工作。

我在 Linux 上，我没有看到 aspectj 的 jar 文件，所以我很好奇如何将方面添加到 yarn。理想情况下，我只想使用故障注入框架（http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/FaultInjectFramework.html），但我不确定是否有一些二进制文件中的方式来执行此操作，还是我需要手动添加它。

我正在尝试对源代码进行更改，并且我想在尝试进行更改之前查看调用了哪些方法，因此我想在 yarn中使用cflow（http://schuchert.wikispaces.com/AspectJ+CFlowExplained ） .

试图从http://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html复制 Yarn 教程。

它实际上需要一些修改才能在 CDH4.3 上运行。它崩溃如下：

这是我们的代码，直到它崩溃为止。

那里的最后一行触发了上述异常。

我有一个全新的 hadoop yarn 安装，我已经通过给定的 jar 文件执行了 wordcount 示例，hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples...但是当我尝试编译wordcount 源并运行它时，它给了我java.io.IOException: No FileSystem for scheme: hdfs.

上面的异常与这行代码有关：

编辑：命令和输出是这些：

我一直无法使用 Maven 3.1.1 构建 Hadoop 2.2.0，这是我得到的输出的一部分（完整日志位于http://pastebin.com/FE6vu46M）：

我检查了 Protoc，它似乎工作正常，与指向库的库路径相同（安装在 $HOME/install/lib 中）：

这是 Maven 检索到的一些系统信息：

我将不胜感激任何可以让我理解正在发生的事情的指导或提示，因为到目前为止我尝试或看到的任何东西都有效。

提前非常感谢。

问候，

里奥

似乎我无法让 hadoop 正常启动。我正在使用 hadoop 0.23.9：

这是我的 core-site.xml：

和我的 hdfs-site.xml：

和 mapred-site.xml：

我查看了我拥有的所有文档，我无法弄清楚如何正确启动 hadoop。我在网上找不到任何关于 hadoop-0.23.9 的文档。我的 Hadoop 书是为 0.22 编写的。在线文档适用于 2.1.1，巧合的是我无法开始工作。

有人可以告诉我如何正确启动我的hadoop吗？

我最近更新到 hadoop 2.2（在此处使用本教程）。

我的主要工作类看起来像这样，并抛出一个 IOException：

BufferredReader我得到一个 IOException，因为它在尝试实例化方法时找不到文件“/user/kevin/data/states.txt”setupStateMap()

我正在迈出掌握 hadoop 的第一步。我已经在分布式模式下（在两个虚拟机上）设置了 CDH4.5。我在使用 YARN 运行 MapReduce 作业时遇到问题。我可以成功启动 DistributedShell 应用程序（来自 CDH 示例），但是一旦我运行 MapReduce 作业，它就会永远挂在那里。

这就是我要推出的：

这些是最后一个资源管理器的日志行：

运行作业后，节点管理器的日志不会收到任何新消息。

这是我在资源管理器的网页上看到的关于该工作的内容：

我有两个集群，每个集群都运行不同版本的 Hadoop。我正在研究 POC，我需要了解 YARN 如何提供同时运行多个应用程序的能力，而 Classic Map Reduce Framework 无法实现这一点。

Hadoop Classic：我有一个 wordcount.jar 文件并在单个集群（2 个 Mappers 和 2 个 Reducers）上执行。我同时开始了两个工作，一个幸运的开始首先得到了两个映射器，完成了任务，然后第二个工作开始了。这是预期的行为。

Hadoop Yarn：相同的 wordcount.jar 和不同的集群（4 个核心，所以总共 4 台机器）。由于 Yarn 没有预先分配 mapper 和 reducer，任何核心都可以用作 mapper 或 reducer。在这里，我还同时提交了两个工作。预期行为：两个作业都应该以 2 个映射器或资源管理器分配的任何配置开始，但至少两个作业都应该开始。

现实：一项工作从 3 个映射器和 1 个减速器开始。第二个作业等到第一个作业完成。

有人可以帮我理解这种行为，以及多节点集群最能体现并行行为吗？