0

我有一个程序启动,大约 5 分钟内进程的虚拟大小约为 13 演出。它在 Linux 上运行,使用 boost、gnu c++ 库和各种其他 3rd 方库。

5 分钟后,大小保持在 13 个演出,RSS 大小稳定在 5 个演出左右。

我不能只在调试器中运行它,因为在启动时启动了大约 30 个线程,每个线程都开始运行自己的代码,执行各种分配。因此,在每个断点处单步执行并检查代码不同部分的虚拟内存是不可行的。

我想改变程序一次启动每个线程,以便更容易跟踪内存分配,但在这样做之前有什么好的工具吗?

Valgrind 相当慢,也许 tcmalloc 可以提供信息?

4

1 回答 1

0

我会使用valgrind(可能运行一整晚)或者使用Boehm GC

或者,使用proc(5)文件系统来了解(例如通过/proc/$pid/statm& /proc/$pid/maps)何时分配了大量内存。

最重要的是找到内存泄漏。如果内存在启动后没有增长,那就不是问题了。

也许为每个类添加实例计数器可能会有所帮助(使用原子整数或互斥体来序列化它们)。

如果程序的源代码很大(例如一百万行源代码),那么花费几天/几周的努力是值得的,也许定制 GCC 编译器(例如使用MELT)可能是相关的。


迷你std::set基准

您提到了std::set基于百万行的大数据。

#include <set>
#include <string>
#include <string.h>
#include <cstdio>
#include <cstdlib>
#include <unistd.h>
#include <time.h>

class MyElem
{
  int _n;
  char _s[16-sizeof(_n)];
public:
  MyElem(int k) :  _n(k)
  {
    snprintf (_s, sizeof(_s), "%d", k);
  };
  ~MyElem()
  {
    _n=0;
    memset(_s, 0, sizeof(_s));
  };
  int n() const
  {
    return _n;
  };
  std::string str() const
  {
    return std::string(_s);
  };
  bool less(const MyElem&x) const
  {
    return _n < x._n;
  };
};

bool operator < (const MyElem& l, const MyElem& r)
{
  return l.less(r);
}

typedef std::set<MyElem> MySet;

void bench (int cnt, MySet& set)
{
  for (long i=0; i<(long)cnt*1024; i++)
    set.insert(MyElem(i));
  time_t now = 0;
  time (&now);
  set.insert (((now) & 0xfffffff) * 100);
}

int main (int argc, char** argv)
{
  MySet s;
  clock_t cstart, cend;
  int c = argc>1?atoi(argv[1]):256;
  if (c<16) c=16;
  printf ("c=%d Kiter\n", c);
  cstart = clock();
  bench (c, s);
  cend = clock();
  int x = getpid();
  char cmdbuf[64];
  snprintf(cmdbuf, sizeof(cmdbuf), "pmap %d", x);
  printf ("running %s\n", cmdbuf);
  fflush (NULL);
  system(cmdbuf);
  putchar('\n');
  printf ("at end c=%d Kiter clockdiff=%.2f millisec = %.f µs/Kiter\n",
          c, (cend-cstart)*1.0e-3, (double)(cend-cstart)/c);
  if (s.find(x) != s.end())
    printf("set has %d\n", x);
  else
    printf("set don't contain %d\n", x);
  return 0;
}    

注意 16 个字节sizeof(MyElem)。在带有 GCC 4.8.1(intel i3770K 处理器,16GB RAM)的 Debian/Sid/AMD64 上并使用 g++ -Wall -O1 tset.cc -o ./tset-01

有 32768 千次迭代,所以 32M 个元素:

总计 2109592K

(上面的最后一行由 给出pmap

最后 c=32768 Kiter clockdiff=16470.00 毫秒 = 503 µs/Kiter

time然后从我的隐含zsh

./tset-01 32768 16.77s user 0.54s system 99% cpu 17.343 total

这大约是 2.1GB。set所以每个元素和成员开销可能是 64.3 字节(因为sizeof(MyElem)==16该集合似乎每个元素可能有 6 个字的不可忽略的成本)

于 2013-08-03T17:08:51.987 回答