19

跟进std::deque 的内存开销到底发生了什么？

Visual C++deque使用以下方法根据容器元素类型管理块：

#define _DEQUESIZ   (sizeof (value_type) <= 1 ? 16 \
    : sizeof (value_type) <= 2 ? 8 \
    : sizeof (value_type) <= 4 ? 4 \
    : sizeof (value_type) <= 8 ? 2 \
    : 1)    /* elements per block (a power of 2) */

这导致小元素的内存占用非常大。通过将第一行中的 16 更改为 128，我能够大大减少大型deque<char>. Process Explorer Private Bytes 在 1 亿次调用后从 181MB -> 113MB 下降push_back(const char& mychar)）。

  • 任何人都可以证明其中的价值#define吗？
  • 其他编译器如何处理deque块大小？
  • push_back对于 100m调用 的简单测试，它们的占用空间（32 位操作）是deque<char>多少？
  • STL 是否允许在编译时覆盖此块大小而不修改 <deque>代码？
4

3 回答 3

5

gcc有

return __size < 512 ? size_t(512 / __size) : size_t(1);

有评论

/*  The '512' is
 *  tunable (and no other code needs to change), but no investigation has
 *  been done since inheriting the SGI code.
 */
于 2010-11-04T15:34:30.760 回答
3

Dinkumware (MS) 实现希望将双端队列一次增加 16 个字节。难道这只是一个非常古老的实现（就像有史以来的第一个？），它针对内存非常少的平台（按照今天的标准）进行了调整，以防止过度分配和耗尽内存（就像std::vector意志一样）？

我必须在我正在处理的应用程序中实现我自己的队列，因为std::queue（使用std::deque）的 2.5 倍内存占用是不可接受的。

互联网上似乎很少有证据表明人们遇到了这种低效率，这让我感到惊讶。我认为像队列（标准库，不少于）这样的基本数据结构将在野外非常普遍，并且将在性能/时间/空间关键应用程序中。但我们在这里。

要回答最后一个问题，C++ 标准没有定义修改块大小的接口。我很确定它不要求任何实现，只是两端插入/删除的复杂性要求。

于 2010-11-04T17:00:53.530 回答
2

STL端口

...似乎使用：_

::: <stl/_alloc.h>
...
enum { _MAX_BYTES = 32 * sizeof(void*) };
...
::: <deque>
...
static size_t _S_buffer_size()
{
  const size_t blocksize = _MAX_BYTES;
  return (sizeof(_Tp) < blocksize ? (blocksize / sizeof(_Tp)) : 1);
}

所以这意味着 32 x 4 = 128 字节块大小在 32 位和 32 x 8 = 256 字节块大小在 64 位。

我的想法：从大小开销 POV 来看，我想任何实现都可以使用可变长度块进行操作，但我认为这对于deque.

至于问题

STL 是否允许在编译时覆盖此块大小而不修改代码？

这里也不可能。

阿帕奇

（似乎是 Rogue Wave STL 版本）显然使用：

static size_type _C_bufsize () {
    // deque only uses __rw_new_capacity to retrieve the minimum
    // allocation amount; this may be specialized to provide a
    // customized minimum amount
    typedef deque<_TypeT, _Allocator> _RWDeque;
    return _RWSTD_NEW_CAPACITY (_RWDeque, (const _RWDeque*)0, 0);
}

所以似乎有一些机制可以通过专门化覆盖块大小，并且 ... 的定义如下所示：

// returns a suggested new capacity for a container needing more space
template <class _Container>
inline _RWSTD_CONTAINER_SIZE_TYPE
__rw_new_capacity (_RWSTD_CONTAINER_SIZE_TYPE __size, const _Container*)
{
    typedef _RWSTD_CONTAINER_SIZE_TYPE _RWSizeT;

    const _RWSizeT __ratio = _RWSizeT (  (_RWSTD_NEW_CAPACITY_RATIO << 10)
                                       / _RWSTD_RATIO_DIVIDER);

    const _RWSizeT __cap =   (__size >> 10) * __ratio
                           + (((__size & 0x3ff) * __ratio) >> 10);

    return (__size += _RWSTD_MINIMUM_NEW_CAPACITY) > __cap ? __size : __cap;
}

所以我会说，嗯，很复杂。

（如果有人想进一步弄清楚这一点，请随时直接编辑我的答案或发表评论。）

于 2011-11-24T13:38:01.567 回答