0

I have a problem when start hadoop.

DataBlockScanner consume up to 100% of one CPU.

Master log is:

2012-04-02 11:25:49,793 INFO org.apache.hadoop.hdfs.StateChange: BLOCK NameSystem.processReport: from 192.168.33.44:50010, blocks: 16148, processing time: 13 msecs

Slave log is:

2012-04-02 11:09:34,109 INFO org.apache.hadoop.hdfs.server.datanode.DataBlockScanner: Verification succeeded for blk_-1757906724564777881_10532084

I checked hadoop fsck and found no error or corrupt block.

Why is the CPU usage so high, and how to stop the block verification?

4

2 回答 2

0

无需挖掘源代码来确认，这可能只是启动时的问题，因为数据节点必须树遍历数据目录（/ies）以发现所有块，然后将它们报告给名称节点。再次没有来源，我无法确认每个块的校验和是否也在启动时得到验证，这可能是 100% CPU 的原因。

于 2012-07-02T11:11:05.297 回答
0

谢谢。我认为我的 CPU 使用率很高，因为闰秒。我认为问题是 java。当我启动 hadoop 时，cpu 使用率很高。

http://en.wikipedia.org/wiki/Leap_second

于 2012-07-04T08:49:57.593 回答