我会使用valgrind(可能运行一整晚)或者使用Boehm GC。
或者,使用proc(5)文件系统来了解(例如通过/proc/$pid/statm
& /proc/$pid/maps
)何时分配了大量内存。
最重要的是找到内存泄漏。如果内存在启动后没有增长,那就不是问题了。
也许为每个类添加实例计数器可能会有所帮助(使用原子整数或互斥体来序列化它们)。
如果程序的源代码很大(例如一百万行源代码),那么花费几天/几周的努力是值得的,也许定制 GCC 编译器(例如使用MELT)可能是相关的。
迷你std::set
基准
您提到了std::set
基于百万行的大数据。
#include <set>
#include <string>
#include <string.h>
#include <cstdio>
#include <cstdlib>
#include <unistd.h>
#include <time.h>
class MyElem
{
int _n;
char _s[16-sizeof(_n)];
public:
MyElem(int k) : _n(k)
{
snprintf (_s, sizeof(_s), "%d", k);
};
~MyElem()
{
_n=0;
memset(_s, 0, sizeof(_s));
};
int n() const
{
return _n;
};
std::string str() const
{
return std::string(_s);
};
bool less(const MyElem&x) const
{
return _n < x._n;
};
};
bool operator < (const MyElem& l, const MyElem& r)
{
return l.less(r);
}
typedef std::set<MyElem> MySet;
void bench (int cnt, MySet& set)
{
for (long i=0; i<(long)cnt*1024; i++)
set.insert(MyElem(i));
time_t now = 0;
time (&now);
set.insert (((now) & 0xfffffff) * 100);
}
int main (int argc, char** argv)
{
MySet s;
clock_t cstart, cend;
int c = argc>1?atoi(argv[1]):256;
if (c<16) c=16;
printf ("c=%d Kiter\n", c);
cstart = clock();
bench (c, s);
cend = clock();
int x = getpid();
char cmdbuf[64];
snprintf(cmdbuf, sizeof(cmdbuf), "pmap %d", x);
printf ("running %s\n", cmdbuf);
fflush (NULL);
system(cmdbuf);
putchar('\n');
printf ("at end c=%d Kiter clockdiff=%.2f millisec = %.f µs/Kiter\n",
c, (cend-cstart)*1.0e-3, (double)(cend-cstart)/c);
if (s.find(x) != s.end())
printf("set has %d\n", x);
else
printf("set don't contain %d\n", x);
return 0;
}
注意 16 个字节sizeof(MyElem)
。在带有 GCC 4.8.1(intel i3770K 处理器,16GB RAM)的 Debian/Sid/AMD64 上并使用 g++ -Wall -O1 tset.cc -o ./tset-01
有 32768 千次迭代,所以 32M 个元素:
总计 2109592K
(上面的最后一行由 给出pmap
)
最后 c=32768 Kiter clockdiff=16470.00 毫秒 = 503 µs/Kiter
time
然后从我的隐含zsh
./tset-01 32768 16.77s user 0.54s system 99% cpu 17.343 total
这大约是 2.1GB。set
所以每个元素和成员开销可能是 64.3 字节(因为sizeof(MyElem)==16
该集合似乎每个元素可能有 6 个字的不可忽略的成本)