1

Amazon EMR 是否允许将系统属性传递给自定义 jar，例如hadoop jar -Dkey=value myjob.jar？( key，value上面在应用程序本身的初始化过程中使用，而不是属于 hadoop 的Configuration对象。)

相关线程如何使用 Amazon 的 EMR 在 CLI 中使用自定义 jar 指定映射配置和 java 选项？讨论了仅通过引导操作将系统属性传递给 hadoop 守护进程的方法，显然，这不允许对 java 入口点类执行相同的操作。

4

1 回答 1

1

如果您不想将 传递给映射器或减速器，您可以在终端或脚本中执行以下操作 -

export HADOOP_OPTS="-Dkey=value"
hadoop jar ...

您也可以将它们放入 中$HADOOP_HOME/conf/hadoop-env.sh，如果您希望每项工作都使用它，而无需在每次运行工作时明确定义它们。

希望这是有道理的。

于 2013-09-03T14:32:31.023 回答