0

Hadoop 0.20.2

有几个job需要一个一个执行，有些尝试job的JVM是杀不掉的。日志如下。如果您看到“ JVM Not kill jvm_201208192339_6873_m_1286217329 but just removed ” ，tasktracker 似乎找不到 JVMId 。我看过源代码。但是我找不到tasktracker找不到JVMId的原因。顺便说一句，tasktraker有13个，只有新的3个有这个问题，是我忘了配置什么吗？有人帮我找出原因吗？谢谢。^O^

2012-09-20 13:52:56,655 信息 org.apache.hadoop.mapred.TaskTracker：收到任务的 KillTask​​Action：尝试_201208192339_6873_m_004334_0

2012-09-20 13:52:56,655 INFO org.apache.hadoop.mapred.TaskTracker：即将清除任务：attempt_201208192339_6873_m_004334_0

2012-09-20 13:52:56,655 信息 org.apache.hadoop.mapred.JvmManager： JVM 未杀死 jvm_201208192339_6873_m_1286217329 但刚刚删除

2012-09-20 13:52:56,655 信息 org.apache.hadoop.mapred.TaskTracker：addFreeSlot：当前空闲插槽：8

2012-09-20 13:52:56,655 信息 org.apache.hadoop.mapred.IndexCache：在缓存中找不到地图 ID 尝试_201208192339_6873_m_004334_0

2012-09-20 13:52:56,962 INFO org.apache.hadoop.mapred.TaskTracker：LaunchTaskAction（registerTask）：attempt_201208192339_6873_m_004334_0 任务状态：KILLED_UNCLEAN

2012-09-20 13:52:56,962 INFO org.apache.hadoop.mapred.TaskTracker：尝试启动：尝试_201208192339_6873_m_004334_0，需要 1 个插槽

2012-09-20 13:52:56,962 INFO org.apache.hadoop.mapred.TaskTracker：在 TaskLauncher 中，当前可用插槽：8 并尝试启动需要 1 个插槽的尝试_201208192339_6873_m_004334_0

2012-09-20 13:52:56,968 INFO org.apache.hadoop.mapred.JvmManager：在 JvmRunner 中构造的 JVM ID：jvm_201208192339_6873_m_677724590

2012-09-20 13:52:56,968 INFO org.apache.hadoop.mapred.JvmManager：JVM Runner jvm_201208192339_6873_m_677724590 产生。

2012-09-20 13:52:56,974 INFO org.apache.hadoop.mapred.TaskController：将命令写入 /disk10/hdfs/mapred/local/ttprivate/taskTracker/root/jobcache/job_201208192339_6873/attempt_201208192339_6873_m_004334_0.cleanup/taskTracker/

2012-09-20 13:52:58,017 INFO org.apache.hadoop.mapred.TaskTracker: JVM，ID：jvm_201208192339_6873_m_677724590 给定任务：attempt_201208192339_6873_m_004334_0

2012-09-20 13:52:58,557 信息 org.apache.hadoop.mapred.TaskTracker：尝试_201208192339_6873_m_004334_0 0.0%

2012-09-20 13:52:58,564 信息 org.apache.hadoop.mapred.TaskTracker：尝试_201208192339_6873_m_004334_0 0.0% 清理

2012-09-20 13:52:58,566 INFO org.apache.hadoop.mapred.TaskTracker：任务尝试_201208192339_6873_m_004334_0 已完成。

2012-09-20 13:52:58,566 INFO org.apache.hadoop.mapred.TaskTracker：报告的尝试_201208192339_6873_m_004334_0 的输出大小为 -1

2012-09-20 13:52:58,566 信息 org.apache.hadoop.mapred.TaskTracker：addFreeSlot：当前空闲插槽：8

4

1 回答 1

1

最终，有这个问题的那个节点还有另一个问题是它的操作系统与硬件不匹配。在新的操作系统中运行一段时间后，这个问题没有再次出现。旧操作系统在网络中表现不佳。它会降低网络带宽。

于 2012-10-31T08:03:35.033 回答