我是hadoop的新手。
我已经在 5 台服务器上使用 Cloudera(正常安装)安装了我的 hbase 设置。我创建了一些表格并填写了一些数据。
现在我监控了 hdfs 文件夹的大小。我可以看到数据节点一直在提供一致的读数。但是每次我检查时,我的名称节点和日志节点磁盘使用量都会增加。
虽然我有少量数据,但日志节点和名称节点每天增加 30MB(大约)。
我在配置中遗漏了什么吗?
我是hadoop的新手。
我已经在 5 台服务器上使用 Cloudera(正常安装)安装了我的 hbase 设置。我创建了一些表格并填写了一些数据。
现在我监控了 hdfs 文件夹的大小。我可以看到数据节点一直在提供一致的读数。但是每次我检查时,我的名称节点和日志节点磁盘使用量都会增加。
虽然我有少量数据,但日志节点和名称节点每天增加 30MB(大约)。
我在配置中遗漏了什么吗?
经过一番研究,我发现了这个问题,为什么编辑日志没有被清除。它是hadoop中的一个设置。
*dfs.namenode.num.extra.edits.retained = 1000000。
这是默认值集。参考