hadoop - Cloudera Manager - HDFS 可用空间健康问题疑难解答

Question

我有一个由两台主机配置的集群 -

看来我正在运行的作业正在创建大量日志，而我的一个 hdfs 数据节点显示严重的健康问题为 -

四件事：

1. 如何清理这些日志并释放空间？从 /var/log/hadoop-hdfs 手动删除它们是个好主意吗？

2. 如上 /var/log/hadoop-hdfs 目录只有 610 MB，hdfs 中的空间在哪里被占用？

3. 如何配置日志文件以定期删除？

4. 我有 HDFS、Spark 和 YARN - MR2 服务启动并运行，它们都在创建自己的日志。我也想清理这些。

谢谢！

Answer 1

在深入研究hdfs之后 -

要获取哪个目录具有什么大小，请执行： hadoop fs -du -h /user/

Spark服务日志创建：

由 Spark 位置创建的日志被识别、手动删除并且集群恢复到健康状态 -

Spark on 在位置的 HDFS 中创建日志 -

/user/spark/applicationHistory

日志文件大小为 129GB。（已删除）

使用的命令 - （当 -rm 将文件移动到垃圾箱时，我们也需要从垃圾箱中 -rm 以便正确清理）

$ hadoop fs -rm /user/spark/applicationHistory/*

$ hadoop fs -rm -r  /user/cloudera/.Trash/Current