2

所以我正在开发一个仅附加的 64 位列表和字典,我遇到了内存错误。我想我会在某个时候,但不是 64 MB。我发现这有点出乎意料,并且很好奇是否有人可以向我解释为什么它会在 64 MB 时遇到问题。

我对新 List 类的测试只是尝试在 List 中创建和加载 8 GB 的布尔值。我认为它们每个只吸收大约 1 位,所以我会得到一些很好的指标/精度来测试我的程序。

这是VS的输出:

-       this    {OrganicCodeDesigner.DynamicList64Tail<bool>}   OrganicCodeDesigner.DynamicList64Tail<bool>
        Count   536870912   ulong
-       data    Count = 536870912   System.Collections.Generic.List<bool>
-       base    {"Exception of type 'System.OutOfMemoryException' was thrown."} System.SystemException {System.OutOfMemoryException}
-       base    {"Exception of type 'System.OutOfMemoryException' was thrown."} System.Exception {System.OutOfMemoryException}
+       Data    {System.Collections.ListDictionaryInternal} System.Collections.IDictionary {System.Collections.ListDictionaryInternal}
        HelpLink    null    string
+       InnerException  null    System.Exception
        Message "Exception of type 'System.OutOfMemoryException' was thrown."   string
        Source  "mscorlib"  string
        StackTrace  "   at System.Collections.Generic.Mscorlib_CollectionDebugView`1.get_Items()"   string
+       TargetSite  {T[] get_Items()}   System.Reflection.MethodBase {System.Reflection.RuntimeMethodInfo}
+       Static members      
+       Non-Public members      
-       Raw View        
        Capacity    536870912   int
        Count   536870912   int
-       Static members      
+       Non-Public members      
-       Non-Public members      
+       _items  {bool[536870912]}   bool[]
        _size   536870912   int
        _syncRoot   null    object
        _version    536870912   int
        System.Collections.Generic.ICollection<T>.IsReadOnly    false   bool
        System.Collections.ICollection.IsSynchronized   false   bool
        System.Collections.ICollection.SyncRoot {object}    object
        System.Collections.IList.IsFixedSize    false   bool
        System.Collections.IList.IsReadOnly false   bool
        item    false   bool
-       Type variables      
        T   bool    bool

以下是我目前正在学习的课程:

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;

namespace OrganicCodeDesigner
{
    public class DynamicList64Tail<T> : iList64<T>
    {
        private List<T> data;

        public DynamicList64Tail()
        {
            data = new List<T>();
        }


        public void Add(T item)
        {
            data.Add(item);
        }       

        public void Clear()
        {
            data.Clear();
        }

        public bool Contains(T item)
        {
            return data.Contains(item);
        }

        public ulong? IndexOf(T item)
        {
            if(this.data.Contains(item)) {
                return (ulong)data.IndexOf(item);
            }
            return null;
        }

        public T this[ulong index]
        {
            get
            {
                return data[(int)(index)];
            }
            set
            {
                data[(int)(index)] = value;
            }
        }


        public ulong Count
        {
            get { return (ulong)data.Count; }
        }

    }
}


using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Collections;

namespace OrganicCodeDesigner
{
    // @todo: Create IList64, with 64-bit longs in mind.
    // @todo: Create BigIntegerList, which may supersede this one.
    public class DynamicList64<T> : iList64<T>
    {
        private List<iList64<T>> data;

        private ulong count = 0;
        private ulong depth = 0;

        public DynamicList64()
        {
            data = new List<iList64<T>>() { new DynamicList64Tail<T>()};
            count = 0;
        }

        public DynamicList64(ulong depth)
        {
            this.depth = depth;
            if (depth == 0)
            {
                data = new List<iList64<T>>() { new DynamicList64Tail<T>() };
            }
            else
            {
                depth -= 1;
                data = new List<iList64<T>>() { new DynamicList64<T>(depth) };
            }
        }

        internal DynamicList64(List<iList64<T>> data, ulong depth)
        {

            this.data = data;
            this.depth = depth;
            this.count = Int32.MaxValue;


        }

        public void Add(T item)
        {
            if (data.Count >= Int32.MaxValue)
            {
                //@todo: Do switch operation, whereby this {depth, List l} becomes this {depth + 1, List.Add(List l), count = 1}, and the new object becomes {depth, List l, count = max}  
                DynamicList64<T> newDynamicList64 = new DynamicList64<T>(this.data, this.depth);
                this.data = new List<iList64<T>>() { newDynamicList64 };
                this.count = 0;
                this.depth += 1;
            }

            if(data[data.Count-1].Count >= Int32.MaxValue) {
                if (depth == 0)
                {
                    data.Add(new DynamicList64Tail<T>());
                }
                else
                {
                    data.Add(new DynamicList64<T>(depth - 1));
                }
            }

            data[data.Count - 1].Add(item);
            count++;
        }



        public void Clear()
        {
            data.Clear();
            data = new List<iList64<T>>() { new DynamicList64Tail<T>() };
            count = 0;
            depth = 0;
        }

        public bool Contains(T item)
        {
            foreach(iList64<T> l in data) {
                if(l.Contains(item)) {
                    return true;
                }
            }
            return false;
        }

        public ulong? IndexOf(T item)
        {
            for (int i = 0; i < data.Count; i++ )
            {
                if (data[i].Contains(item))
                {
                    return (ulong)(((ulong)i * (ulong)(Int32.MaxValue)) + data[i].IndexOf(item).Value);
                }
            }

            return null;           
        }

        public T this[ulong index]
        {
            get
            {
                return data[(int)(index / Int32.MaxValue)][index % Int32.MaxValue];
            }
            set
            {
                data[(int)(index / Int32.MaxValue)][index % Int32.MaxValue] = value;
            }
        }


        public ulong Count
        {
            get { return this.count; }
        }

    }
}


using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;

namespace OrganicCodeDesigner
{
    public interface iList64<T>
    {
        void Add(T item);
        void Clear();
        bool Contains(T item);
        ulong? IndexOf(T item);
        T this[ulong index] { get; set;}
        ulong Count { get; }

    }
}

以及测试程序的代码:

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Windows.Forms;
using OrganicCodeDesigner;

namespace OrganicCodeDesignerListDictionaryTest
{
    public partial class MainForm : Form
    {
        public MainForm()
        {
            InitializeComponent();
        }

        private void Button_TestList_Click(object sender, EventArgs e)
        {
            DynamicList64<bool> newList = new DynamicList64<bool>();
            newList.Add(true);
            newList.Add(false);

            bool b = true;
            for (ulong i = 0; i < 68719476736; i++)
            {
                b = !b;
                newList.Add(b);
                //if(i%4096==0) {
                    //TextBox_Output.Text += "List now contains " + i + "\r";
                //}
            }

            TextBox_Output.Text += "Successfully added all the bits.\r";
        }

        private void Button_TestDictionary_Click(object sender, EventArgs e)
        {

        }
    }
}

也许您可以发现错误?

4

2 回答 2

6

也许您可以发现错误?

认为错误在这里:

我认为它们每个只吸收大约 1 位,所以我会得到一些很好的指标/精度来测试我的程序。

一个 bool 占用一个字节,而不是一位 - 所以你大大低估了你的列表的大小。您实际上遇到了 512MB 布尔值的错误。由于 Reed Copsey 的编辑速度比我快 - 我怀疑该列表正试图通过分配一个 2 倍其当前大小的数组来增加其大小 [即 1GB 数组],并且这遇到了一些 .net 限制。

这可能是开始实施拆分逻辑的好时机。

于 2012-10-10T01:38:49.483 回答
4

.NET 中数组的大小是有限制的。即使您在 64 位平台上运行,并设置了gcAllowVeryLargeObjects(在 .NET 4.5 中),您仍然被限制在数组的单个维度中最多 2,146,435,071 个项目。

(在 4.5 之前的版本中,单个对象的大小限制为 2gb,无论它包含多少条目。)

话虽如此, abool由 one 表示byte,而不是一位,因此这将比您预期的要大得多。话虽如此,当此操作失败时,您的列表中仍然只有 536,870,912,因此理论上,在具有足够内存的 64 位系统上,用于增长列表的下一个分配应该仍然在限制范围内。但是,这需要程序成功地分配一个足够大的连续内存块来存储请求的数据(这将是最后一个块大小的 2 倍)。

于 2012-10-10T01:38:05.007 回答