3

我想添加/更新以下参数

 <property>
    <name>mapred.map.tasks.speculative.execution</name>
    <value>false</value>
  </property>

在 hadoop 中的 mapred-site.xml 中。如何在不重新启动集群的情况下执行此操作？

4

3 回答 3

5

您可以在作业配置中设置此每个作业。如果要全局更改此行为，则必须重新启动集群。不重新启动就无法更改它。

于 2012-10-28T17:18:34.967 回答
5

根据Hadoop - 权威指南

请注意，某些属性在客户端配置中设置时无效。例如，如果您在作业提交中设置 mapred.tasktracker.map.tasks.maximum 并期望它会更改运行您的作业的 tasktracker 的任务槽数，您会感到失望，因为此属性仅在以下情况下才有效在 tasktracker 的 mapred-site.xml 文件中设置。通常，您可以通过名称告诉组件应在何处设置属性，因此 mapred.tasktracker.map.tasks.maximum 以 mapred.tasktracker 开头的事实为您提供了一个线索，即它只能为 tasktracker 守护进程设置. 然而，这并不是一个硬性规定，因此在某些情况下，您可能需要反复试验，甚至阅读源代码。

在客户端尊重且特定于作业的属性不需要重新启动集群，但另一方面，集群特定配置（如 mapred.tasktracker.map.tasks.maximum）需要重新启动集群。

于 2012-10-29T01:05:58.570 回答
2

如果您使用 MRv2 (YARN for Resource scheduling)，则每次提交作业时都会读取 mapred-site.xml 文件中所做的更改，并且所有配置都将保存为作业配置 xml 文件（提交作业时）集群）。无需重新启动任何服务。

于 2015-09-21T13:42:40.853 回答