问题标签 [hadoop-yarn]

谁能告诉我，现有的 MapReduce 和 YARN 之间有哪些区别，因为我没有发现这两者之间的所有明显区别？

PS：我要求在这些之间进行比较。

谢谢！

我们正在考虑在 YARN 之上构建一个面向服务的架构。我们有不同的应用程序类型——有些可以在 Storm 中工作，比如流模式（我们连接到正在运行的服务），有些在批处理模式（当应用程序在每个请求上启动时）。

此外，应用程序可能需要经常相互通信，这将需要 YARN 内不同应用程序之间的大量内部流量。我们还希望使用不同应用程序的缓存，因此每当具有相同数据的请求发送到同一个应用程序时，我们都可以返回缓存响应。

作为 SOA 框架的基础，YARN 是好还是坏的解决方案？Yarn 只是一个类似自动缩放/部署的工具，还是非常适合 SOA？用 YARN 做到这一点是否足够快？

我有一个在 pig 0.10.0 和 MR v1 之上运行的 pig 脚本（带有 Perl 流）。现在我尝试在 YARN (2.1.0-beta) 和 pig 0.11.1 之上运行相同的 pig 脚本而不进行更改，但出现以下错误：

我通过运行一些示例 MR 程序并设置 HADOOP_HOME 环境变量指向 YARN 主目录来确保 YARN 本身工作正常。我还需要设置或测试其他任何东西吗？

I've setup a Hadoop cluster using the newly 2.x version. And I installed snappy and hadoop snappy according to this guide, to enable snappy compression in map output.

When running the example wordcount, The error occurred:

I searched google about the error message "Error: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z", haven't find the solution to this problem. So I want to know how can I enable snappy compression in Hadoop 2.x? Thanks.

我正在使用 Hadoop 2.0.5 (Alpha) 运行相对较大的作业，并且遇到了以下错误：

容器 [pid=15023,containerID=container_1378641992707_0002_01_000029] 运行超出虚拟内存限制。当前使用情况：已使用 492.4 MB 的1 GB 物理内存；使用了 3.3 GB 的2.1 GB虚拟内存。杀死容器。

然后我了解了这两个参数：

yarn.nodemanager.vmem-pmem-ratio 属性，默认设置为 2.1。

yarn.app.mapreduce.am.command-opts默认设置为 -Xmx1024mb (=1GB)。

这解释了上面标记的限制。

将这些参数设置为更高的值确实有帮助，但后来我发现了这个参数： yarn.app.mapreduce.am.resource.mb，默认设置为 1536。

而且我无法从 Hadoop 的默认 XML 中给出的描述中完全区分这 3 个之间的区别，我也无法正确地设置它们以优化它们。

一个解释或一个很好的参考将不胜感激

Twitter Storm 可以作为 YARN 应用程序进行管理和运行吗？此外，这样做是否明智？我希望建立一个基于 YARN 的库，在管道的隐喻中管理批处理和流式处理。例如水龙头（来源）、管道（连接器和过滤器）、水箱（批处理）和排水管（汇到 FS、数据库等）。

我正在尝试在 YARN 集群上运行分布式 shell 示例。

但它失败了：

这是我在服务器日志中看到的内容：

问题是我怎样才能获得更多细节来确定出了什么问题。

PS：我们使用的是 HDP 2.0.5

I have a cluster with an installation of hadoop-2.1.0-beta. Is there a way to learn where each filesplit is located in my cluster? What I am looking for is a list such as the following

edit: I know that such a list is available in Microsoft Azure.

http://hadoop.apache.org/docs/r2.1.0-beta/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html

我试图通过上面的链接使示例运行良好。但我无法编译下面的代码

amContainer 是 ContainerLaunchContext 而我的 hadoop 版本是 2.1.0-beta。我做了一些调查。我发现 ContainerLaunchContext 中没有方法“setResource”

我对此有 3 个问题
1）该方法已被删除还是什么？
2）如果方法已被删除，我现在该怎么办？
3）有没有关于纱线的文档，因为我发现网站上的文档很容易，我希望我能得到一个手册或什么的。例如，capability.setMemory(512)；根据代码中的注释，我不知道它是 512k 还是 512M。

我想知道以下行为是否应该如此（hadoop 2.1.0-beta）：

我在 hdfs-site.xml 中将 dfs.blocksize 更改为 64m。如果我通过块大小上传文件hdfs dfs -put src dst正确显示为 64mb（在网络界面中）。但是，如果我使用 java api（这里通过 scala），文件的块大小是 128mb（默认）。

我的应用程序的类路径中没有配置文件，因为我希望名称节点应该知道它的块大小。以下是我使用 java api 的方法：

我的名称节点是否配置错误，以至于它没有应用正确的块大小？或者这是预期的行为？

加法：这就是我启动我的namenode的方式：

hdfs-site.xml 位于指定文件夹中，其中包含以下属性：

我没有指定 $HADOOP_CONF_DIR，因为我在这台机器上的多个 hadoop 安装之间切换（我希望并且不认为这是必要的）。