1

据我们所知，FIWARE 实验室 (cosmos.lab.fiware.org) 中的每个 Cosmos 用户在 HDFS 中最多有 5GB 可用空间。尽管如此，尽管作业生成的数据不超过 5GB 配额，但在运行我们的 map-reduce Hadoop 作业时
我们还是会遇到问题。DSQuotaExceededException

如果我们在执行 map-reduce 作业期间监控 HDFS 的使用情况，我们会得到以下输出：

命令：“当为真时；执行日期；hadoop fs -count -q .；睡眠 20；完成”
格式：
日期
QUOTA REMAINING_QUOTA SPACE_QUOTA REMAINING_SPACE_QUOTA DIR_COUNT FILE_COUNT CONTENT_SIZE FILE_NAME

2016 年 7 月 28 日 18:50:12 CEST
        无 inf 5368709120 1197734302 19 46 1389627219 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 18:50:34 CEST
        无 inf 5368709120 2678747494 16 26 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 18:50:57 CEST
        无 inf 5368709120 2678747494 16 26 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 18:51:20 CEST
        无 inf 5368709120 2678747494 16 26 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 18:51:44 CEST
        无 inf 5368709120 2678747494 16 26 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 18:52:07 CEST
        无 inf 5368709120 2678747494 16 26 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 18:52:28 CEST
        无 inf 5368709120 1198032544 22 35 1389528792 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 18:52:50 CEST
        无 inf 5368709120 1197738517 19 39 1389625814 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 18:53:11 CEST
        无 inf 5368709120 2678747494 16 27 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 18:53:35 CEST
        无 inf 5368709120 2678747494 16 27 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 18:53:59 CEST
        无 inf 5368709120 2678747494 16 27 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 18:54:22 CEST
        无 inf 5368709120 2678747494 16 27 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 18:54:46 CEST
        无 inf 5368709120 2678747494 16 27 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 18:55:09 CEST
        无 inf 5368709120 2477420902 17 28 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 18:55:31 CEST
        无 inf 5368709120 1197738514 19 39 1389625815 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 18:55:55 CEST
        无 inf 5368709120 1197738514 20 48 1389625815 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 18:56:17 CEST
        无 inf 5368709120 2678747506 16 28 895957138 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 18:56:40 CEST
        无 inf 5368709120 2678747506 16 28 895957138 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 18:57:04 CEST
        无 inf 5368709120 2678747506 16 28 895957138 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 18:57:28 CEST
        无 inf 5368709120 2678747506 16 28 895957138 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 18:57:51 CEST
        无 inf 5368709120 2678747506 16 28 895957138 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 18:58:13 CEST
        无 inf 5368709120 1198032556 16 37 1389528788 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 18:58:34 CEST
        无 inf 5368709120 1197738742 19 40 1389625760 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 18:58:56 CEST
        无 inf 5368709120 2678747494 16 29 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 18:59:20 CEST
        无 inf 5368709120 2678747494 16 29 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 18:59:43 CEST
        无 inf 5368709120 2678747494 16 29 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 19:00:07 CEST
        无 inf 5368709120 2678747494 16 29 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 19:00:31 CEST
        无 inf 5368709120 2678747494 16 29 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 19:00:54 CEST
        无 inf 5368709120 1076586601 22 38 1228684181 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 19:01:18 CEST
        无 inf 5368709120 1197724648 19 41 1389630437 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 19:01:41 CEST
        无 inf 5368709120 1197724648 19 41 1389630437 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 19:02:05 CEST
        无 inf 5368709120 1197724648 19 41 1389630437 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 19:02:29 CEST
        无 inf 5368709120 1197724648 19 41 1389630437 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 19:02:53 CEST
        无 inf 5368709120 1197724648 19 41 1389630437 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 19:03:14 CEST
        无 inf 5368709120 364004107 19 46 1667537284 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 19:03:36 CEST
        无 inf 5368709120 197959591 20 48 1722885456 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 19:03:57 CEST
        无 inf 5368709120 201060881 18 44 1722549413 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 19:04:19 CEST
        无 inf 5368709120 201060881 18 44 1722549413 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 19:04:40 CEST
        无 inf 5368709120 201060881 18 44 1722549413 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 19:05:02 CEST
        无 inf 5368709120 201060881 18 44 1722549413 hdfs://cosmosmaster-gi/user/rbarriuso
2016 年 7 月 28 日 19:05:23 CEST
        无 inf 5368709120 201060881 18 44 1722549413 hdfs://cosmosmaster-gi/user/rbarriuso

一段时间后，执行结束并出现以下异常：

28 年 7 月 16 日 19:03:11 信息 mapred.JobClient：任务 ID：尝试_201604111313_157784_r_000006_0，状态：失败
org.apache.hadoop.hdfs.protocol.DSQuotaExceededException: org.apache.hadoop.hdfs.protocol.DSQuotaExceededException: The DiskSpace quota of /user/rbarriuso is exceeded: quota=5368709120 diskspace consumption=5.0g
    在 sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    在 sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39)
    在 sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:27)
    在 java.lang.reflect.Constructor.newInstance(Constructor.java:513)
    在 org.apache.hadoop.ipc.RemoteException.instantiateException(RemoteException.java:95)
    在 org.apache.hadoop.ipc.RemoteException.unwrapRemoteException（RemoteException.java:57）
    在 org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:3778)
    在 org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:3640)
    在 org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2400(DFSClient.java:2846)
    在 org.apache.ha ...

正如您在上面日志末尾所看到的，最大 HDFS 使用量对应于 1.722.549.413 字节和 201.060.881 字节的免费配额（根据hadoop fs -count -q），这不包括 5GB 的可用用户空间。
此外，占用的空间与剩余的可用空间不匹配。

剩余配额空间如何计算？
有什么办法可以避免DSQuotaExceededException？

提前致谢。

4

1 回答 1

0

您必须考虑 HDFS 适用于所有数据的复制因子。默认为 3，因此您的有效配额为 5GB/3。可以通过电子邮件联系管理员（我 :)）来增加此配额。

于 2016-08-18T10:09:01.870 回答