2

在 C 程序中，我面临需要大量内存块的事务，我需要知道是否有用于处理所有这些 malloc/free 的算法或最佳实践 teqnique，我使用数组来存储这些内存块，但在某些情况下点数组本身已满，重新分配数组只是更浪费，处理这个问题的优雅方法是什么？

4

2 回答 2

2

在这种情况下，最好的算法是自由列表分配器 + 二叉搜索树。

您正在向系统请求一个大内存块，然后从该块分配固定大小的内存块。当块已满时，您将分配另一个块，并将它们链接到红黑或 AVL 二进制搜索间隔树（否则free通过迭代块列表来搜索块将成为瓶颈）

同时，多线程和线程同步变得很重要。如果您只是使用互斥锁或普通自旋锁，您会发现 libc malloc 的工作速度比您自定义的内存分配器快得多。解决方案可以在Hazard pointer中找到，即每个线程都有自己的内存分配器（或每个 CPU 内核一个分配器）。这将增加另一个问题——当一个线程分配内存而另一个线程释放它时，这将需要在空闲函数期间搜索确切的分配器，并严格锁定或无锁数据结构。

最好的选择 - 您可以使用jemalloc、tcmalloc或任何其他通用建议的快速内存分配器来完全或部分替换您的 libc（即 pdmalloc）默认分配器。

于 2018-06-06T14:31:04.980 回答
2

如果由于要交付的功能而需要跟踪这些不同的缓冲区，那么您将需要某种缓冲区管理功能，其中包括为缓冲区管理分配内存。

但是，如果您担心内存碎片，那就另当别论了。

我已经看到很多关于如何使用malloc()和free()导致内存碎片以及减少或消除此问题的各种方法的文章。

我怀疑几年前，这可能是个问题。然而，这些天来，我质疑大多数程序员在管理内存方面是否能像开发现代编译器运行时的人一样出色。我确信有特殊的应用程序，但编译器运行时开发非常了解内存碎片，并且他们使用了许多方法来帮助缓解问题。

例如，这是 2010 年的一篇较早的文章，描述了现代编译器运行时实现malloc()和free(). 看看 malloc 在 Mac 上的工作原理

这里有一点关于GNU 分配器的内容。

这篇来自 IBM 的 2004 年 11 月的文章描述了内存管理的一些注意事项，即内部内存管理，并提供了他们所谓的“malloc 的简单实现代码，并免费帮助演示管理内存所涉及的内容”。请注意，这是一个简单的示例，旨在说明一些问题，而不是当前实践的演示。

我用 Visual Studio 2015 做了一个快速控制台应用程序，它在 C 源文件中调用了一个 C 函数，该文件穿插malloc()和free()各种大小的调用。我在 Windows 任务管理器中观察进程时运行了这个。峰值工作集（内存）最大为 34MB。观察内存（私有工作集）测量，我看到它随着程序运行而上升和下降。

#include <malloc.h>
#include <stdio.h>

void funcAlloc(void)
{
    char *p[50000] = { 0 };
    int   i;

    for (i = 0; i < 50000; i+= 2) {
        p[i] = malloc(32 + (i % 1000));
    }

    for (i = 0; i < 50000; i += 2) {
        free(p[i]); p[i] = 0;
    }
    for (i = 1; i < 50000; i += 2) {
        p[i] = malloc(32 + (i % 1000));
    }
    for (i = 1; i < 50000; i += 2) {
        free(p[i]); p[i] = 0;
    }

    for (i = 0; i < 50000; i++) {
        p[i] = malloc(32 + (i % 1000));
    }

    for (i = 0; i < 50000; i += 3) {
        free(p[i]); p[i] = 0;
    }
    for (i = 1; i < 50000; i += 3) {
        free(p[i]); p[i] = 0;
    }
    for (i = 2; i < 50000; i += 3) {
        free(p[i]); p[i] = 0;
    }
}

void funcMain(void)
{
    for (int i = 0; i < 5000; i++) {
        funcAlloc();
    }
}

程序员应该练习帮助内存分配器在某些搅动内存的情况下使用的唯一考虑因素malloc()是free()使用一组标准缓冲区大小来处理不同长度的数据。

例如，如果您正在为几个不同大小的数据结构创建临时缓冲区，请struct为所有缓冲区使用最大的标准缓冲区大小，以便内存管理器使用相同大小的内存块，以便能够以更有效地重用空闲内存块。我已经看到一些动态数据结构功能使用这种方法，例如分配最小长度为 32 个字符的动态字符串或将缓冲区请求四舍五入为四或八的倍数。

于 2018-06-06T15:42:10.613 回答