0

在查看dn日志时，我们发现有很多日志如下：

2016-07-01 05:53:29,328 INFO org.apache.hadoop.hdfs.server.datanode.VolumeScanner：VolumeScanner（/data12/hadoop/dfs，DS-086bc494-d862-470c-86e8-9cb7929985c6）：未调度嫌疑人阻止 BP-360285305-10.130.1.11-1444619256876:blk_1095475173_21737939 进行重新扫描，因为我们最近重新扫描了它。
2016-07-01 05:53:29,330 INFO org.apache.hadoop.hdfs.server.datanode.VolumeScanner：VolumeScanner（/data12/hadoop/dfs，DS-086bc494-d862-470c-86e8-9cb7929985c6）：未调度嫌疑人阻止 BP-360285305-10.130.1.11-1444619256876:blk_1095475173_21737939 进行重新扫描，因为我们最近重新扫描了它。
2016-07-01 05:53:29,334 INFO org.apache.hadoop.hdfs.server.datanode.VolumeScanner：VolumeScanner（/data12/hadoop/dfs，DS-086bc494-d862-470c-86e8-9cb7929985c6）：未调度嫌疑人阻止 BP-360285305-10.130.1.11-1444619256876:blk_1095475173_21737939 进行重新扫描，因为我们最近重新扫描了它。
2016-07-01 05:53:29,340 INFO org.apache.hadoop.hdfs.server.datanode.VolumeScanner：VolumeScanner（/data12/hadoop/dfs，DS-086bc494-d862-470c-86e8-9cb7929985c6）：未调度嫌疑人阻止 BP-360285305-10.130.1.11-1444619256876:blk_1095475173_21737939 进行重新扫描，因为我们最近重新扫描了它。
2016-07-01 05:53:29,342 INFO org.apache.hadoop.hdfs.server.datanode.VolumeScanner：VolumeScanner（/data12/hadoop/dfs，DS-086bc494-d862-470c-86e8-9cb7929985c6）：未调度嫌疑人阻止 BP-360285305-10.130.1.11-1444619256876:blk_1095475173_21737939 进行重新扫描，因为我们最近重新扫描了它。
2016-07-01 05:53:29,344 INFO org.apache.hadoop.hdfs.server.datanode.VolumeScanner：VolumeScanner（/data12/hadoop/dfs，DS-086bc494-d862-470c-86e8-9cb7929985c6）：未调度嫌疑人阻止 BP-360285305-10.130.1.11-1444619256876:blk_1095475173_21737939 进行重新扫描，因为我们最近重新扫描了它。
2016-07-01 05:53:29,346 INFO org.apache.hadoop.hdfs.server.datanode.VolumeScanner：VolumeScanner（/data12/hadoop/dfs，DS-086bc494-d862-470c-86e8-9cb7929985c6）：未调度嫌疑人阻止 BP-360285305-10.130.1.11-1444619256876:blk_1095475173_21737939 进行重新扫描，因为我们最近重新扫描了它。

异常堆栈跟踪如下所示：

2016-07-01 11:56:38,601 错误 org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(xxx29:50010, datanodeUuid=f3d795cc-2b3b-43b9-90c3-e4157c031d2c, infoPort=50075, infoSecurePort=0 , ipcPort=50020, storageInfo=lv=-56;cid=CID-a99b693d-6f26-48fe-ad37-9f8162f70b22;nsid=920937379;c=0): 在服务 BP-360285305-10.130.1.11-144_lk_26101268565966b 时遇到异常:到 /xxx21:44153
java.io.IOException：对等方重置连接
        在 sun.nio.ch.FileChannelImpl.transferTo0（本机方法）
        在 sun.nio.ch.FileChannelImpl.transferToDirectlyInternal(FileChannelImpl.java:427)
        在 sun.nio.ch.FileChannelImpl.transferToDirectly(FileChannelImpl.java:492)
        在 sun.nio.ch.FileChannelImpl.transferTo(FileChannelImpl.java:607)
        在 org.apache.hadoop.net.SocketOutputStream.transferToFully(SocketOutputStream.java:223)
        在 org.apache.hadoop.hdfs.server.datanode.BlockSender.sendPacket(BlockSender.java:586)
        在 org.apache.hadoop.hdfs.server.datanode.BlockSender.doSendBlock(BlockSender.java:769)
        在 org.apache.hadoop.hdfs.server.datanode.BlockSender.sendBlock(BlockSender.java:716)
        在 org.apache.hadoop.hdfs.server.datanode.DataXceiver.readBlock(DataXceiver.java:551)
        在 org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.opReadBlock(Receiver.java:116)
        在 org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.processOp(Receiver.java:71)
        在 org.apache.hadoop.hdfs.server.datanode.DataXceiver.run（DataXceiver.java:251）
        在 java.lang.Thread.run(Thread.java:745)

我们发现与这些日志相关的块与hbase rs有关系，根据日志，rs尝试读取文件。

所以我的问题是，在这种情况下 rs 会尝试读取文件吗？从日志中可以看出，rs 尝试每秒发起一次新的读取请求。

任何建议或想法将不胜感激。

hbase反复读取blk_1105510536_31776579！由“java.net.SocketException: Original Exception: java.io.IOException: Connection reset by peer”引起的所有不成功读取

2016-06-30 11:21:49,079 TRACE org.apache.hadoop.hdfs.server.datanode.DataNode：DatanodeRegistration（10.130.1.29:50010，datanodeUuid=f3d795cc-2b3b-43b9-90c3-e4157c031d2c，infoPort=50075，infoSecurePort =0, ipcPort=50020, storageInfo=lv=-56;cid=CID-a99b693d-6f26-48fe-ad37-9f8162f70b22;nsid=920937379;c=0): 服务 BP-360285305-10.130.1.11-1444619256876 时忽略异常:blk_1105510536_31776579 到 /10.130.1.21:40140
2016-06-30 11:21:49,148 跟踪 org.apache.hadoop.hdfs.server.datanode.DataNode：DatanodeRegistration（10.130.1.29:50010，datanodeUuid=f3d795cc-2b3b-43b9-90c3-e4157c031d2c，infoPort=50075，infoSecurePort =0, ipcPort=50020, storageInfo=lv=-56;cid=CID-a99b693d-6f26-48fe-ad37-9f8162f70b22;nsid=920937379;c=0): 服务 BP-360285305-10.130.1.11-1444619256876 时忽略异常:blk_1105510536_31776579 到 /10.130.1.21:40154
2016-06-30 11:21:50,509 TRACE org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(10.130.1.29:50010, datanodeUuid=f3d795cc-2b3b-43b9-90c3-e4157c031d2c, infoPort=50075, infoSecurePort =0, ipcPort=50020, storageInfo=lv=-56;cid=CID-a99b693d-6f26-48fe-ad37-9f8162f70b22;nsid=920937379;c=0): 服务 BP-360285305-10.130.1.11-1444619256876 时忽略异常:blk_1105510536_31776579 到 /10.130.1.21:40157
2016-06-30 11:21:51,229 TRACE org.apache.hadoop.hdfs.server.datanode.DataNode：DatanodeRegistration（10.130.1.29:50010，datanodeUuid=f3d795cc-2b3b-43b9-90c3-e4157c031d2c，infoPort=50075，infoSecurePort =0, ipcPort=50020, storageInfo=lv=-56;cid=CID-a99b693d-6f26-48fe-ad37-9f8162f70b22;nsid=920937379;c=0): 服务 BP-360285305-10.130.1.11-1444619256876 时忽略异常:blk_1105510536_31776579 到 /10.130.1.21:40168
2016-06-30 11:21:51,921 TRACE org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(10.130.1.29:50010, datanodeUuid=f3d795cc-2b3b-43b9-90c3-e4157c031d2c, infoPort=50075, infoSecurePort =0, ipcPort=50020, storageInfo=lv=-56;cid=CID-a99b693d-6f26-48fe-ad37-9f8162f70b22;nsid=920937379;c=0): 服务 BP-360285305-10.130.1.11-1444619256876 时忽略异常:blk_1105510536_31776579 到 /10.130.1.21:40181
2016-06-30 11:21:51,946 TRACE org.apache.hadoop.hdfs.server.datanode.DataNode：DatanodeRegistration（10.130.1.29:50010，datanodeUuid=f3d795cc-2b3b-43b9-90c3-e4157c031d2c，infoPort=50075，infoSecurePort =0, ipcPort=50020, storageInfo=lv=-56;cid=CID-a99b693d-6f26-48fe-ad37-9f8162f70b22;nsid=920937379;c=0): 服务 BP-360285305-10.130.1.11-1444619256876 时忽略异常:blk_1105510536_31776579 到 /10.130.1.21:40187
2016-06-30 11:21:53,247 TRACE org.apache.hadoop.hdfs.server.datanode.DataNode：DatanodeRegistration（10.130.1.29:50010，datanodeUuid=f3d795cc-2b3b-43b9-90c3-e4157c031d2c，infoPort=50075，infoSecurePort =0, ipcPort=50020, storageInfo=lv=-56;cid=CID-a99b693d-6f26-48fe-ad37-9f8162f70b22;nsid=920937379;c=0): 服务 BP-360285305-10.130.1.11-1444619256876 时忽略异常:blk_1105510536_31776579 到 /10.130.1.21:40188
4

1 回答 1

0

事实证明，问题是由于 DFSInputStream 在阅读之前进行了搜索。如果 InputStream 被过度读取，将从目标 pos 开始一个新的请求。

于 2016-07-08T08:28:58.933 回答