3

我正在读取一个文件（该文件由一个长度为 2gb 的长字符串组成）。

这是我的函数，它将文件的所有内容读入内存，然后拆分字符串并放置： *reader = StreamReader

public List<char[]> GetAllContentAsList()
        {
            int bytesToRead = 1000000;
            char[] buffer = new char[bytesToRead];
            List<char[]> results = new List<char[]>();

            while (_reader.Read(buffer, 0, bytesToRead) != 0)
            {
                char[] temp = new char[bytesToRead];
                Array.Copy(buffer,temp,bytesToRead);
                results.Add(temp);
            }

            return results;
        }

当所有数据放入列表时，它会占用 4gb 的 RAM。当文件只有 2GB 大小时，这怎么可能？

*编辑

这就是我最终做的。我没有将字节数组转换为字符串，我只是在操作它们时传递字节。这是该字段在内存中只有 2Gb 而不是 4gb

 public List<byte[]> GetAllContentAsList()
            {
                int bytesToRead = 1000000;
                var buffer = new byte[bytesToRead];
                List<byte[]> results = new List<byte[]>();

                while (_reader.Read(buffer, 0, bytesToRead) != 0)
                {
                    //string temp = Encoding.UTF8.GetString(buffer);
                    byte[] b = new byte[bytesToRead];
                    Array.Copy(buffer,b,bytesToRead);
                    results.Add(b);
                }

                return results;
            }
4

1 回答 1

16

有根据的猜测：

该文件是UTF-8或ASCII编码的，并且仅（大部分）包含单字节宽的字符（或者可能是其他一些主要是单字节宽的代码页）。

现在，.NET 字符是UTF-16，长度均为 2 个（或更多）字节。

因此，在内存中，字符的大小将是原来的两倍。

于 2013-05-08T13:34:55.200 回答