我有一个包含大约 100000 篇文章的文本文件。文件结构为：
.文档 ID 42944-YEAR:5 .日期 03\08\11 .Cat 政治 文章内容1 .文档 ID 42945-YEAR:5 .日期 03\08\11 .Cat 政治 文章内容二
我想在 c# 中打开这个文件以逐行处理它。我试过这段代码：
String[] FileLines = File.ReadAllText(
TB_SourceFile.Text).Split(Environment.NewLine.ToCharArray());
但它说：
引发了“System.OutOfMemoryException”类型的异常。
问题是如何打开这个文件并逐行阅读。
您可以打开文件并将其作为流读取，而不是一次将所有内容加载到内存中。
来自 MSDN：
using System;
using System.IO;
class Test
{
public static void Main()
{
try
{
// Create an instance of StreamReader to read from a file.
// The using statement also closes the StreamReader.
using (StreamReader sr = new StreamReader("TestFile.txt"))
{
String line;
// Read and display lines from the file until the end of
// the file is reached.
while ((line = sr.ReadLine()) != null)
{
Console.WriteLine(line);
}
}
}
catch (Exception e)
{
// Let the user know what went wrong.
Console.WriteLine("The file could not be read:");
Console.WriteLine(e.Message);
}
}
}
您的文件太大而无法一口气读入内存，就像File.ReadAllText尝试做的那样。您应该逐行读取文件。
改编自MSDN：
string line;
// Read the file and display it line by line.
using (StreamReader file = new StreamReader(@"c:\yourfile.txt"))
{
while ((line = file.ReadLine()) != null)
{
Console.WriteLine(line);
// do your processing on each line here
}
}
这样，任何时候在内存中的文件都不会超过一行。
如果您使用的是 .NET Framework 4，则 System.IO.File 上有一个名为 ReadLines 的新静态方法，它返回字符串的 IEnumerable。我相信它已被添加到这个确切场景的框架中；但是，我自己还没有使用它。
像这样的东西：
using (var fileStream = File.OpenText(@"path to file"))
{
do
{
var fileLine = fileStream.ReadLine();
// process fileLine here
} while (!fileStream.EndOfStream);
}