我正在尝试分析我的 hadoop 作业的内存使用情况。
有人可以提供有关如何使用 yourkit 监控 hadoop 任务的分步操作方法 - 包括设置吗?
您所要做的就是将以下条目添加到您的 mapred-site.xml 文件(如果在 $HADOOP_HOME/conf/ 中找到,其中 $HADOOP_HOME 是您的 Hadoop 安装目录):
<property>
<name>mapred.child.java.opts</name>
<value>
-agentpath:{yourkit installation directory}/bin/linux-x86-64/libyjpagent.so=tracing,dir={output directory}
</value>
</property>
如果您在不同于 linux-x86-64 的平台上运行,您可能需要更改上述值以匹配您的平台(有关详细信息,请参阅此内容)
您可以将此处列出的任何选项传递给探查器代理
这将创建许多快照,为指定输出目录中的每个子进程创建一个快照