问题标签 [hadoop-yarn]

在新的稳定版本中启动资源管理器时出现以下错误。

请帮忙看看是什么问题。

我有如下要求：

1. 有一个 30 节点的 hadoop YARN 集群，以及一个用于提交作业的客户端机器。
2. 让我们使用 wordcount MR 示例，因为它世界闻名。我想通过 java 方法提交并运行 wordcount MR 作业。

那么提交作业所需的代码是什么？任何特定于客户端计算机上的配置？

我按照这个页面的说明安装单机纱线集群http://hadoop.apache.org/docs/r2.0.5-alpha/hadoop-project-dist/hadoop-common/SingleCluster.html

但是当我运行示例jar时，作业挂在那里，我检查资源管理器的日志，发现以下错误（第一个是客户端日志，第二个是资源管理器日志）

（客户端）

资源管理器

我正在尝试在 Ubuntu 13.10 64 位上设置最新的 Hadoop 2.2 单节点集群。操作系统是全新安装的，我尝试过使用 java-6 64 位和 java-7 64 位。

遵循此步骤并失败后，从此链接中，我无法启动nodemanager并resourcemanager使用以下命令：

和资源管理器

并且都失败并出现错误：

资源管理器失败并出现类似错误：NoClassDefFoundError

我已经尝试了很多小时，并且尝试了 Google，但没有任何效果。请让我知道我错过了什么。搜索解决方案时此链接和此链接不起作用。

我尝试使用 java-6 和 java-7 64 位，但没有成功。

编辑

接受的答案设法摆脱了异常，并且所有守护程序现在都在启动，但是在运行作业时仍然存在异常，在这个问题中提到

该问题链接到我之前的问题All the daemons are running, jps 显示：

但是该wordcount示例继续失败，但出现以下异常：

由于它说问题出在配置中，因此我在此处发布配置文件。目的是创建一个单节点集群。

纱线站点.xml

核心站点.xml

hdfs-site.xml

mapred-site.xml

请告诉我缺少什么或我做错了什么。

有人试过在 Hadoop 2.2.0 上运行 Nutch 1.6 吗？

我尝试开箱即用地运行它，我遇到的第一个问题是喷油器显示以下错误：

任何人有任何想法如何解决这个问题？谢谢！

通过阅读有关 YARN 的文档，我在 YARN 中找不到有关资源管理器、节点管理器和应用程序主控的 HA 的任何相关信息。它们是单点故障吗？如果有，有什么改进的计划吗？

谁能指导我查看 Apache Hadoop Yarn 示例的源代码。2.2.0 发行版附带了一个名为 hadoop-mapreduce-examples-2.2.0.jar 的 jar。我正在尝试查找示例的源代码。任何指针都会有帮助...

谢谢，阿米特

YARN 中的 yarn-site.xml 与 yarn-default.xml 有什么区别？看起来 yarn-default.xml 在 Hadoop 2.2 中已被弃用？

我正在使用 Pig 0.12 和 YARN 2.2 之上的 pig 脚本处理连接的 bz2 文件，并收到以下错误消息：

我认为 YARN 2.2 应该修复连接的 bz2 文件处理 ( https://issues.apache.org/jira/browse/HADOOP-6835 ) 但还没有？还是 Pig 自己处理 bzip2 文件而不是依赖底层 MapReduce 框架，还是我需要设置一些参数？