1

我正在尝试分析在 Azure HDInsight (HDP 2.2) 上运行的 MapReduce 作业。我真正想要的是单个reduce任务的配置文件(尽管多个会更好)。

以下是我当前使用的配置设置:

mapreduce.task.profile=true
mapreduce.task.profile.params=-agentlib:hprof=cpu=samples,depth=100,interval=7,lineno=y,thread=y,force=n,file=d:/profile.out

首先,似乎在过去的hadoop版本中,作业客户端用于将配置文件输出文件复制回提交作业的位置,但现在情况已不再如此。我必须去任务节点并找到它们(因此将它们放在更容易找到的目录中的原因)。不确定这是否是一个错误。

但问题是输出文件只有配置文件头。这是一堆关于 hprof 是什么以及文件包含什么的信息,然后没有内容。当我使用相同的配置文件参数在本地运行一个简单的 java 程序时,我确实得到了实际内容。

纱线容器环境是否有异常可能会阻止 hprof 写入其输出?也许任务 jvm 奇怪地退出了?有什么办法可以改变吗?

4

0 回答 0