hadoop - hadoop - 工作完成后任务继续运行

Question

我运行一个有 20 个节点的 hadoop 集群。

我运行了一项使用大量内存的繁重工作。出于某种原因，某些任务似乎与工作“脱节”。为什么会这样？

1. 我的任务超时为 600 秒。这些任务的运行远不止于此。我通过查看 java 进程就知道了。

2. 作业完成后，我仍然在运行 map reduce 进程。

有没有人遇到过这样的问题？

Answer 1

1. 只有在 600 秒内没有进度报告时，该任务才会被终止。只要有一些进展，任务就会继续。

2. 这不应该发生。您确定这些流程来自您的工作吗？如果您重新启动相同的作业几次，如果您没有正确停止旧作业，您仍然可能有一些挂起的进程。