8

我正在尝试初始化一个三维数组以加载体素世界。

地图的总大小应该是（2048/1024/2048）。我试图初始化一个锯齿状的“int”数组，但我抛出了一个内存异常。尺寸限制是多少？我的桌子大小：2048 * 1024 * 2048 = 4'191'893'824

有人知道有办法解决这个问题吗？

// System.OutOfMemoryException here !
int[][][] matrice = CreateJaggedArray<int[][][]>(2048,1024,2048);
// if i try normal Initialization I also throws the exception
int[, ,] matrice = new int[2048,1024,2048];

    static T CreateJaggedArray<T>(params int[] lengths)
    {
        return (T)InitializeJaggedArray(typeof(T).GetElementType(), 0, lengths);
    }

    static object InitializeJaggedArray(Type type, int index, int[] lengths)
    {
        Array array = Array.CreateInstance(type, lengths[index]);
        Type elementType = type.GetElementType();

        if (elementType != null)
        {
            for (int i = 0; i < lengths[index]; i++)
            {
                array.SetValue(
                    InitializeJaggedArray(elementType, index + 1, lengths), i);
            }
        }

        return array;
    }
4

4 回答 4

4

C# 中单个对象的最大大小为 2GB。由于您正在创建一个多维数组而不是锯齿状数组（尽管您的方法的名称），它是一个需要包含所有这些项目的单个对象，而不是多个。如果您实际上使用的是锯齿状数组，那么您将不会拥有包含所有这些数据的单个项目（即使总内存占用量会更大，而不是更小，只是分散得更多）。

于 2013-04-23T21:09:39.980 回答
4

非常感谢所有试图帮助我理解和解决我的问题的员工。

我尝试了几种解决方案来加载大量数据并存储在一个表中。两天后，这是我的测试，最后是可以将 4'191'893'824条目存储到一个数组中的解决方案

我添加了我的最终解决方案，希望有人可以提供帮助

目标

我记得目标：初始化一个整数数组 [2048/1024/2048] 用于存储4'191'893'824数据

测试 1：使用 JaggedArray 方法（失败）

系统抛出内存不足异常

            /* ******************** */
            /* Jagged Array method  */
            /* ******************** */
            
            // allocate the first dimension;
            bigData = new int[2048][][];
            for (int x = 0; x < 2048; x++)
            {
                // allocate the second dimension;
                bigData[x] = new int[1024][];
                for (int y = 0; y < 1024; y++)
                {
                    // the last dimension allocation
                    bigData[x][y] = new int[2048];
                }
            }

测试 2：使用 List 方法（失败）

系统抛出内存不足异常（将大数组分成几个小数组。不幸的是，“List <>”允许最大“2GB”内存分配，就像一个简单的数组一样。）

        /* ******************** */
        /* List method          */
        /* ******************** */
        
        List<int[,,]> bigData = new List<int[,,]>(512);
        for (int a = 0; a < 512; a++)
        {
            bigData.Add(new int[256, 128, 256]);
        }

测试 3：使用 MemoryMappedFile（解决方案）

我终于找到了解决方案！使用类“Memory Mapped File”包含虚拟内存中文件的内容。

MemoryMappedFile MSDN与我在 codeproject here 上找到的自定义类一起使用。初始化很长，但效果很好！

        /* ************************ */
        /* MemoryMappedFile method  */
        /* ************************ */

        string path = AppDomain.CurrentDomain.BaseDirectory;            
        var myList = new GenericMemoryMappedArray<int>(2048L*1024L*2048L, path); 
        using (myList)
        {
            myList.AutoGrow = false;

            /*
            for (int a = 0; a < (2048L * 1024L * 2048L); a++)
            {
                myList[a] = a;
            }
            */

            myList[12456] = 8;
            myList[1939848234] = 1;
            // etc...
        }
于 2013-04-25T13:28:52.963 回答
3

来自关于数组的 MSDN 文档（添加了重点）

默认情况下，Array 的最大大小为 2 GB。在 64 位环境中，您可以通过在运行时环境中将 gcAllowVeryLargeObjects 配置元素的 enabled 属性设置为 true 来避免大小限制。但是，该数组仍将限制为总共 40 亿个元素，并且在任何给定维度中的最大索引为 0X7FEFFFFF（字节数组和单字节结构数组为 0X7FFFFFC7）。

因此，尽管有上述答案，即使您设置标志以允许更大的对象大小，数组仍然被限制在元素数量的 32 位限制。

编辑：您可能需要重新设计以消除对当前使用的多维数组的需求（正如其他人所建议的那样，在使用实际锯齿状数组或其他一些维度集合之间有几种方法可以做到这一点）。考虑到元素数量的规模，最好使用动态分配对象/内存的设计，而不是必须预先分配它的数组。（除非您不介意使用许多 GB 的内存） EDITx2：也就是说，也许您可​​以定义定义填充内容的数据结构，而不是定义世界上所有可能的体素，甚至是“空”体素。（我假设绝大多数体素是“空的”而不是“填充的”

编辑：虽然不是微不足道的，特别是如果大部分空间被认为是“空的”，那么你最好的选择是引入某种空间树，它可以让你有效地查询你的世界以查看特定区域中的对象。例如：八叉树（如 Eric 建议的那样）或RTrees

于 2013-04-23T21:12:21.407 回答
1

如描述的那样创建这个对象，无论是作为标准数组还是作为锯齿状数组，都会破坏允许 CPU 发挥性能的引用局部性。我建议您改用这样的结构：

class BigArray 
{
    ArrayCell[,,] arrayCell = new ArrayCell[32,16,32];

    public int this[int i, int j, int k]
    { 
        get { return (arrayCell[i/64, j/64, k/64])[i%64, j%64, k%16]; } 
    }
}


class ArrayCell 
{
    int[,,] cell = new int[64,64,64];

    public int this[int i, int j, int k] 
    { 
        get { return cell[i,j,k]; } 
    }  
}
于 2013-04-23T21:28:52.317 回答