0

我在另一个stackoverflow上找不到这个答案，我会在这里问。我有一个大约 100000 行的文本文件。我一直在对其进行多次查询，例如

string header = isFirstRowHeader ? "Yes" : "No";
string pathOnly = Path.GetDirectoryName(path);
string fileName = Path.GetFileName(path);
string sql = @"SELECT Count(*) as NumberofRecords FROM [" + fileName + "]";

using (OleDbConnection connection = new OleDbConnection(
       @"Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + pathOnly +
       ";Extended Properties=\"Text;HDR=" + header + "\""))
using (OleDbCommand command = new OleDbCommand(sql, connection))
using (OleDbDataAdapter adapter = new OleDbDataAdapter(command))
{
    DataTable dt = new DataTable();
    dt.Locale = CultureInfo.CurrentCulture;
    adapter.Fill(dt);
    return dt;
}

它正在做这个的多个版本。有没有办法加载文本文件，以便我可以更快地运行这样的事情？有没有更好的办法？目前，它需要的时间太长。

4

3 回答 3

2

你想做什么？

从您的示例看来，您唯一要做的就是获取文件中的记录数。

如果您没有跨越多行的内容，您可能可以安全地只计算行数（标题为-1 行）。

* 当且仅当

编辑：

因此，计算行数不是一种选择，因为您正在做更复杂的事情。

我刚刚生成了一个包含 100k 记录（大小为 7.7 MB）的示例文件，该文件在 0.43 秒内得到处理。做一个count(*) .. group by Name花了 0.58 秒。

你的数字是多少，为什么你认为它花了太长时间？文件在哪里？可能是网络/慢速驱动问题？

于 2012-04-19T14:04:05.030 回答
0

使用流将文件加载到内存中，请参见此处。一旦它在内存中，运行您的查询等。

于 2012-04-19T13:36:33.780 回答
-1

您可以使用以下示例：

string filename = @"C:\BigTextFile.txt";  
StreamReader sr = System.IO.File.OpenText(filename);

// Process line by line.  
string line = "";  
do  
{  
line = sr.ReadLine();  
}  
while(sr.Peek() != -1);  

// Load all at once and process.  
string alltext = sr.ReadToEnd();  

sr.Close();
于 2012-04-19T13:44:14.357 回答