4

我们正在尝试使用以下代码。

 public static int SplitFile(string fileName, string tmpFolder, List<string> queue, int splitSize = 100000)
    {
        int chunk = 0;
        if (!Directory.Exists(tmpFolder))
            Directory.CreateDirectory(tmpFolder);
        using (var lineIterator = File.ReadLines(fileName).GetEnumerator())
        {
            bool stillGoing = true;
            for (chunk = 0; stillGoing; chunk++)
            {
                stillGoing = WriteChunk(lineIterator, splitSize, chunk, tmpFolder, queue);
            }
        }
        return chunk;
    }

    private static bool WriteChunk(IEnumerator<string> lineIterator,
                                   int splitSize, int chunk, string tmpFolder, List<string> queue)
    {
        try
        {

            //int tmpChunkSize = 1000;
            //int tmpChunkInc = 0;
            string splitFile = Path.Combine(tmpFolder, "file" + chunk + ".txt");

            using (var writer = File.CreateText(splitFile))
            {
                queue.Add(splitFile);
                for (int i = 0; i < splitSize; i++)
                {
                    if (!lineIterator.MoveNext())
                    {
                        return false;
                    }
                    writer.WriteLine(lineIterator.Current);

                }
            }

            return true;
        }
        catch (Exception)
        {

            throw;
        }

    }

它创建了大约 36 个文本文件（大约 800 MB），但在 lineIterator.MoveNext() 创建第 37 个文件时开始抛出“内存不足异常”。

而 lineIterator.Current 显示调试器中的值。

4

1 回答 1

0

因为它是一个巨大的文件，你应该阅读它Seek和ReadBytesBinaryReader 的方法。

你可以在这里看到一个简单的例子。在您使用 ReadBytes 检查最后的新行并在您读取的一定数量的行中写入进程文件。不要把你读到的每一行都写下来，也不要把所有的数据都保存在内存中。

其余的都在你的手中。

也许它与那个有关File.ReadLines 何时释放资源

IEnumerable不从 IDisposable 继承，因为通常，实现它的类只给你一个可枚举的承诺，它实际上还没有做任何需要处置的事情。

于 2013-06-03T13:54:41.810 回答