6

我有一个包含几百万行的相当大的文件，需要检查并从文件中删除损坏的行。

我无耻地尝试过File.ReadAllLines，但没有奏效。然后我尝试流式传输如下行，从原始文件中读取并写入新文件。虽然它完成了这项工作，但它会在几个小时内完成（5+）。我读过关于使用缓冲区的文章，这听起来像是唯一的选择，但我将如何以这种方式保持线路完整性？

解决方案： StreamWriter 移到 while 之外。使用计数代替拆分。

 using (FileStream inputStream = File.OpenRead((localFileToProcess + ".txt")))
 {
    using (StreamReader inputReader = new StreamReader(inputStream, System.Text.Encoding.GetEncoding(1254)))
    {
       using(StreamWriter writer=new StreamWriter(localFileToProcess,true,System.Text.Encoding.GetEncoding(1254)))
       {
          while (!inputReader.EndOfStream)
          {
             if ((tempLineValue = inputReader.ReadLine()).Count(c => c == ';') == 4)
             {
                 writer.WriteLine(tempLineValue);
             }
             else
                 incrementCounter();
          }
       }
    }
}
4

1 回答 1

1

我认为原始代码中最慢的部分是创建/处理 StreamWriter。在每个 Dispose 上，StreamWriter 必须将所有未写入的数据刷新到磁盘，关闭文件句柄等。在打开的操作系统上，必须检查安全权限，当前锁定以及做许多其他事情。

当你开始只使用一个 StreamWriter 时，它的内部写入缓冲区开始工作，将数据大块写入磁盘。除了跳过关闭/打开文件来编写它还可以节省大量时间。磁盘 I/O 通常是应用程序中最慢的部分。

Split(';') 也可能对速度产生影响，但我认为影响不大。无论如何，字符串操作在 C# 中应该小心完成，因为字符串是不可变的，会在内存中产生大量垃圾。因此，如果您可以检查 4 个分号，它总是比调用 Split(';') 更好，后者分配一个数组并（在您的情况下）每行在内存中创建 5 个字符串。当使用不可变字符串执行大量字符串操作时，即使没有任何磁盘 I/O，它也可能严重影响应用程序性能。

至于在您的情况下使用 StringBuilder - 我认为它没有多大帮助，因为 StreamWriter 已经具有内置缓冲。

于 2013-07-25T10:57:15.850 回答