12

好吧，我是新手mongo，今天早上我有一个（坏的）想法。我正在使用 shell 中的索引，并决定创建一个包含许多文档（1 亿）的大型集合。所以我执行了以下命令：

for (i = 1; i <= 100; i++) { 
    for (j = 100; j > 0; j--) { 
        for (k = 1; k <= 100; k++) { 
            for (l = 100; l > 0; l--) {
                db.testIndexes.insert({a:i, b:j, c:k, d:l})
            }
        }
    }
}

然而，事情并没有像我预期的那样发展：

  1. 完成请求需要 45 分钟。
  2. 它在我的硬盘上创建了 16 GB 的数据。
  3. 它使用了我 80% 的 RAM（总共 8GB），并且在我重新启动 PC 之前它不会释放它们。

如下图所示，随着集合中文档数量的增加，插入文档的时间也在增加。我建议通过数据文件的最后修改时间：

在此处输入图像描述

这是预期的行为吗？我不认为 1 亿个简单的文档太多。

PS我现在真的很害怕运行ensureIndex命令。

编辑：

我执行了以下命令：

> db.testIndexes.stats()
{
        "ns" : "test.testIndexes",
        "count" : 100000000,
        "size" : 7200000056,
        "avgObjSize" : 72.00000056,
        "storageSize" : 10830266336,
        "numExtents" : 28,
        "nindexes" : 1,
        "lastExtentSize" : 2146426864,
        "paddingFactor" : 1,
        "systemFlags" : 1,
        "userFlags" : 0,
        "totalIndexSize" : 3248014112,
        "indexSizes" : {
                "_id_" : 3248014112
        },
        "ok" : 1
}

因此，默认索引的_id大小超过 3GB。

4

2 回答 2

3

完成请求需要 45 分钟。

并不惊讶。

它在我的硬盘上创建了 16 GB 的数据。

正如@Abhishek 所说，一切似乎都很好，MongoDB 目前确实使用了大量空间而没有压缩（希望稍后会出现）。

似乎数据大小约为 7.2GB，而平均对象大小为 72 字节，这似乎工作得很好（因为 72 字节适合 7.2GB）与 _id 索引的 3GB 开销似乎存储大小为 10GB很合适。

虽然我担心它使用的 6GB 比统计数据显示的要多，但这可能需要更多研究。我猜这是因为 MongoDB 如何写入数据文件，甚至可能是因为您没有使用非火而忘记写关注（w>0），总而言之；嗯。

它使用了我 80% 的 RAM（总共 8GB），并且在我重新启动 PC 之前它不会释放它们。

MongoDB 将尝试占用操作系统允许的尽可能多的 RAM。如果操作系统让它占用 80%，那么它将占用 80%。这实际上是一个好兆头，它表明 MongoDB 具有正确的配置值来有效地存储您的工作集。

运行ensureIndex mongod时永远不会释放 RAM。它根本没有钩子，相反，操作系统将缩小其分配的块以腾出更多空间（或者应该更确切地说）。

于 2013-06-08T16:41:54.077 回答
2

这是预期的行为，mongo db 文件从文件大小 16MB ( test.0 ) 开始，然后增长到 2GB，然后 2GB 是恒定的。

1 亿 (16 GB) 文件一无所有。您可以运行 ensureIndex，它应该不会花费太多时间。

您无需重新启动您的电脑，当其他进程需要 RAM 时，mongod 将释放 RAM。

仅供参考：test.12 完全是空的。

我猜你不担心 16GB 的大小只是 1 亿个文件？

于 2013-06-08T13:54:36.207 回答