2

MongoDB 2.46 和 2.4.8

用例：

  1. 在具有 2 个索引的集合上加载 100.000 个文档。常驻内存增加（mongostat），并且不会发生页面错误。
  2. 重启 mongod。常驻内存低（这是预期的）
  3. 尝试使用触摸命令 db.runCommand({ touch: collection, data: true, index: true })或其他方式“预热”mongo（在操作系统上，vmtouch / dd上）
    a）在这一步，在我的开发机器上（ MacOS），我在 mongostat 中看到很多页面错误试图加热它（预期的）并且驻留内存被提升。从那时起，任何更新都不会引发页面错误
    b）在 numa 服务器（256 GB RAM）上，即使我使用本指南启动 mongo：http: //docs.mongodb.org/manual/administration/production-笔记/#mongodb-on-numa-hardware（注意：我没有超级用户访问权限。但是，第二步，在 /proc/sys/vm/zone_reclaim_mode 中回显 0，已经是 0，所以我就这样离开了），我似乎无法预热使用“触摸”命令记忆。没有任何反应，即使它成功返回。在 mongostat 中，只有 'mapped' 和 'vsize' 越来越高，并且驻留内存相同 (35m)。我什至尝试使用 vmtouch 和 dd 命令加载操作系统内存中的数据文件。仅重新索引集合会更改常驻内存。

在我开始将数据加载到服务器后一段时间，问题就开始了。我做了很多 upserts，一开始的性能很棒（3000 - 4000 upserts/sec）。这是意料之中的，因为工作集将能够放入内存中。在 30.000.000 个文档之后，该过程似乎产生了很多页面错误，我不知道为什么。数据文件约为。33GB，性能约为 500 upserts/sec，有很多页面错误。这应该意味着工作集不在内存中。但是，256GB RAM 应该绰绰有余. 我尝试了 'touch' 命令，但常驻内存很低（我什至重新启动了 mongod 进程，运行了 touch 命令，即使 'mapped' 和 'vsize' 飙升到很多 GB，常驻内存仍然很低，35m） . 我试图重新索引集合，瞧，常驻内存从 35m -> 20GB。但是，我再次看到页面错误。然后我尝试 vmtouch 数据文件（或使用 dd）。同样，很多页面错误。

问题是我不能'只有' 500 upserts/sec。我应该改变我的应用程序逻辑吗？我认为使用 256GB 内存，我的“活动”工作集（预计为 60GB）应该适合内存。我在中间（30GB），似乎我无法解决这个问题。是numa硬件吗？我应该进行任何其他更改吗？

提前致谢

4

1 回答 1

1

我刚刚在 ServerFault 上写了一个非常详细的答案，内容涉及常驻内存、页面错误以及如何进行故障排除、调整和调整等，所以我不会在这里重新讨论。

mongod我会说 Sammaye 的评论是正确的，在进程实际访问数据之前，touch（或 dd、vmtouch 等）命令不会导致内存被报告为进程常驻内存（直到那时它只是在 FS 缓存中） ，然后您可以在SERVER-9415中遇到问题，这可能会导致常驻内存报告不足。

我认为您已经在这里查看了关键指标，并且您应该能够实现比您报告的更高的常驻内存（或者至少，将更多数据放入内存而不会出现明显的页面错误）。您所描述的情况听起来像是来自其他地方的内存压力，但我假设您会注意到另一个进程正在消耗大量内存。

我要指出的是，我之前花了几天时间（字面意思）试图使特定的 AWS 实例超过 30% 的内存阈值，但没有成功。

当我们最终放弃并尝试另一个实例时，没有改变任何东西（我们只是添加了一个新实例作为辅助实例并故障转移到它），它立即达到了超过 70% 的常驻内存。当然，这是在m2.4xlarge实例上，所以与你的规模不同，但始终值得牢记。如果您可以在另一个实例上尝试它，我建议您试一试。

于 2014-02-24T14:34:14.483 回答