1

在我的 HDFS 集群上工作时，我收到了这个错误

du: java.util.ConcurrentModificationException

每当我跑步

hdfs dfs -du -h -s /some/path/

在 Internet 上快速检查，我发现这是 Hadoop 2.7.0 中的错误。

4

1 回答 1

2

为了解决这个问题，我不得不删除我的一些 Hadoop 快照文件。我相信一个/一些快照已损坏，因为几天前我的一个数据节点从我的集群中不干净地退役。

hdfs lsSnapshottableDir
drwxr-xr-x 0 hdfs supergroup 0 2018-01-30 17:04 0 65536 /data

[hdfs@hmastera ~]$ hdfs dfs -ls /data/.snapshot
Found 5 items
drwxr-xr-x   - hdfs supergroup          0 2017-08-19 01:06 /data/.snapshot/insight-dl-cluster_snapshot_20170819T010503
drwxr-xr-x   - hdfs supergroup          0 2017-08-19 01:08 /data/.snapshot/insight-dl-cluster_snapshot_20170819T010746
drwxr-xr-x   - hdfs supergroup          0 2017-08-19 01:12 /data/.snapshot/insight-dl-cluster_snapshot_20170819T011013
drwxr-xr-x   - hdfs supergroup          0 2017-08-19 01:14 /data/.snapshot/insight-dl-cluster_snapshot_20170819T011219
drwxr-xr-x   - hdfs supergroup          0 2018-01-13 16:24 /data/.snapshot/insight-dl-cluster_snapshot_20180113T162234

`

然后我开始删除快照，直到我恢复我的魔力。

   hdfs@ hmastera ~]
        hdfs dfs -deleteSnapshot /data  insight-dl-cluster_snapshot_20170819T010503
        hdfs dfs -deleteSnapshot /data  insight-dl-cluster_snapshot_20170819T010746
        hdfs dfs -deleteSnapshot /data  insight-dl-cluster_snapshot_20170819T011013
        hdfs dfs -deleteSnapshot /data  insight-dl-cluster_snapshot_20170819T011219
        hdfs dfs -deleteSnapshot /data insight-dl-cluster_snapshot_20180113T162234

[hdfs@ hmastera ~]$ hdfs dfs -du -h -s /data
        510.1 G  /data
于 2018-02-05T15:42:13.320 回答