问题标签 [hadoop-yarn]

我试图克服突然出现的问题。在那个问题之前，我使用了旧的虚拟机。我已经下载了新的虚拟机，但仍然无法运行我的工作。我收到Java 堆空间错误。我已经读过这篇文章：Hadoop 中的内存不足错误

这是我来自 /etc/hadoop/conf 的配置：

须藤 vi hadoop-env.sh

这是我的mapred-site.xml

没有什么帮助:(

这是控制台输出：

这是我的日志：

接下来我可以尝试什么？请帮忙。谢谢你。

Hadoop Yarn 实例可以管理来自地球上不同地方的节点、网络吗？它可以管理使用不同平台的节点吗？

我发现的关于 Yarn 的每条注释都表明 Yarn 管理集群，但如果我部署的应用程序是用 Java 编写的，那么它应该可以在节点上运行，而不管节点的硬件如何。同样，Yarn 似乎足够通用，可以支持的不仅仅是 LAN。

我在玩分布式 shell 应用程序（hadoop-2.0.0-cdh4.1.2）。这是我目前收到的错误。

有趣的是，设置似乎没有问题，因为一个简单的lsoruname命令成功完成，并且输出在 container2 标准输出中可用。

关于设置，yarn.nodenamager.vmem-pmem-ratio可用3的总物理内存为 2GB，我认为这对于运行来说已经绰绰有余了。

对于有问题的命令，“ping localhost”生成了两个回复，从containerlogs/container_1357039792045_0005_01_000002/721917/stdout/?start=-4096.

那么，可能是什么问题？

我一直在努力通过 tarball 安装 CDH，没有描述步骤或指南的文档。我确实在服务器上具有 root 访问权限，并希望通过 tarball 在伪模式下安装 CDH4。任何人都可以帮忙吗？在同一台服务器上还安装了 apache hadoop，我想安装这个 CDH，而不影响现有的 apache hadoop。

YARN 中的容器是什么？它与节点管理器上的任务运行的子JVM相同还是不同？

根据我的阅读，YARN (MRv2) 允许插入调度程序，替换默认的 FIFO 调度程序。我的问题是，我们可以在 MRv1 中做同样的事情吗？有没有办法在旧版本的 Hadoop 中替换 FIFO 调度程序，或者这是只有 YARN 提供的东西？

在集群上安装 Hadoop 0.23.0 时，节点管理器无法启动并出现以下错误。

我对 Hadoop 版本和新 API 感到非常困惑。我在 Hadoop 0.20.203 上有一个项目，我认为是时候升级它了。我希望使用具有 YARN 的版本，即 0.23 或 2.0.2。由于根据 Hadoop 站点的 2.0.2 就像 0.23 但更好，我已经导入了 2.0.2 版本。新的 api 应该在 org.apache.hadoop.mapreduce 中而不是在 org.apache.hadoop.mapred 中，而且我已经从我的 0.20 版本中获得了这个包，所以我不需要更改任何东西。Job 类的所有构造函数都已弃用，那么我应该如何使用这个类？当我运行我的项目时，我也会收到很多弃用警告，其中提到了 mapred 包。

我编辑了我的问题以包含我在输出中已弃用的内容

我现在已经在独立模式下设置了 hadoop 和 yarn。我正在尝试在纱线中启动所有过程。除节点管理器外，所有进程都已启动。它每次都抛出 jvm 错误。

可能是什么问题？任何帮助表示赞赏。

Apache Helix 和 Hadoop YARN (MRv2) 有什么区别。有人对这两种技术都有经验吗？谁能解释一下 Helix 相对于 YARN 的优缺点以及为什么 LinkedIn 的人开发了自己的集群管理而不是使用 YARN？

在此先感谢托比