2

我正在开发一个测试 MongoDB 实现，我试图将 1,000,000 条记录批量插入到一个集合中，并让它在两个分片之间均匀分布。我最初的试验看到一个分片包含 995760 条记录，而另一个分片只包含 4251 条记录。我试图预先分割，但这并没有改变任何东西。我是分片概念的新手，希望能在该主题上提供任何帮助。

更新：

我的分片键在“数字”字段上，这是一个整数，范围为 1 - 999,999

地位：

{
"sharded" : true,
"ns" : "test.test_collection",
"count" : 999999,
"numExtents" : 21,
"size" : 43982976,
"storageSize" : 210247680,
"totalIndexSize" : 60396112,
"indexSizes" : {
    "_id_" : 32466896,
    "number_1" : 27929216
},
"avgObjSize" : 43.983019983019986,
"nindexes" : 2,
"nchunks" : 239,
"shards" : {
    "firstset" : {
        "ns" : "test.test_collection",
        "count" : 995754,
        "size" : 43813176,
        "avgObjSize" : 44,
        "storageSize" : 123936768,
        "numExtents" : 11,
        "nindexes" : 2,
        "lastExtentSize" : 37625856,
        "paddingFactor" : 1,
        "systemFlags" : 1,
        "userFlags" : 0,
        "totalIndexSize" : 60118128,
        "indexSizes" : {
            "_id_" : 32319728,
            "number_1" : 27798400
        },
        "ok" : 1
    },
    "secondset" : {
        "ns" : "test.test_collection",
        "count" : 4245,
        "size" : 169800,
        "avgObjSize" : 40,
        "storageSize" : 86310912,
        "numExtents" : 10,
        "nindexes" : 2,
        "lastExtentSize" : 27869184,
        "paddingFactor" : 1,
        "systemFlags" : 1,
        "userFlags" : 0,
        "totalIndexSize" : 277984,
        "indexSizes" : {
            "_id_" : 147168,
            "number_1" : 130816
        },
        "ok" : 1
    }
},
"ok" : 1
}

更新 2：

感谢@Sammaye 的建议。这个问题与我的片键有关。当我对密钥进行哈希处理时，批量插入会均匀地拆分记录。感谢所有的帮助！

4

1 回答 1

1

集群通常需要一些时间才能达到平衡。如果您在一个大插入中输入了所有这些文档，那么它们将首先全部写入主分片，一旦达到最大块大小，它将被分成块。然后将块一个一个迁移到另一个分片，这可能需要一些时间。

从我可以看到你有大约 100MB 的数据，但是有 429 个块，这有点奇怪吗？你设置的块大小是多少？太小的块大小肯定会减慢块迁移到另一个分片的速度。

于 2013-07-25T09:42:43.253 回答