我是 Hadoop 的新手,我正在使用集群,我的磁盘报价为 15GB。如果我尝试在一个大数据集(大约 25GB)上执行wordcount 样本,我总是会收到异常“超出 xxxx 的 DiskSpace 配额:”。
我在异常后检查了我的磁盘使用情况,它与报价相差甚远。这是由于临时文件还是中间作业?是否可以删除临时/中间文件?
(我可以通过 Java 代码修改配置,我无法直接访问 .xml 配置文件)
谢谢!;)
我是 Hadoop 的新手,我正在使用集群,我的磁盘报价为 15GB。如果我尝试在一个大数据集(大约 25GB)上执行wordcount 样本,我总是会收到异常“超出 xxxx 的 DiskSpace 配额:”。
我在异常后检查了我的磁盘使用情况,它与报价相差甚远。这是由于临时文件还是中间作业?是否可以删除临时/中间文件?
(我可以通过 Java 代码修改配置,我无法直接访问 .xml 配置文件)
谢谢!;)