3

是否可以在同一个集群中同时运行 Hadoop MR1 和 MR2（至少在理论上）？

如果是，我该怎么做？

4

5 回答 5

4

理论上，您可以这样做：

  • 在一台机器上运行 DataNode TaskTracker 和 NodeManager
  • 在其他机器上运行 NameNode SecondaryNameNode 和 ResourceManager
  • 具有不同端口的所有进程

但是，不建议这样做，请参阅cloudera 博客：

“确保您没有尝试在同一组节点上同时运行 MRv1 和 YARN。这是不支持的；它会降低性能并可能导致集群部署不稳定。”

于 2013-03-26T02:36:03.927 回答
0

理论上，是的。

  1. 将 tarball 解压到 2 个不同的位置，由不同的用户拥有。

  2. 在它们中，将所有与 mapred/yarn 相关的端口更改为互斥集。

  3. 仅从其中一个位置运行数据节点。

  4. 在两个位置启动 mapred/yarn 相关的守护进程

如果有效，请在此处发布。

于 2012-11-25T14:33:44.313 回答
0

对于 MR1 和 MR2，dfs name dir 和 data dir 也应该不同。

<property>
    <name>dfs.name.dir</name>
    <value>/home/userx/hdfs/name</value>
</property>
<property>
    <name>dfs.data.dir</name>
    <value>/home/userx/hdfs/data</value>
</property>
于 2014-12-16T05:05:24.613 回答
0

您不需要同时运行两者，只需运行 Hadoop 2.0，它为为 Hadoop 1.0 编写的 MapReduce 应用程序提供完全的向后兼容性。API 有一些小的更改，请查看链接以检查任何更改是否会影响您的应用程序。

于 2016-12-26T21:18:46.090 回答
0

对于 Mapr 来说，这不仅是理论，而且是实践，请查看此链接。

于 2016-12-26T17:09:30.950 回答