c# - 如何从许多日志文件中创建一个数据库并执行一些类似 SQL 的查询？

Question

考虑您有许多日志文件，您需要处理所有这些文件并从中创建一个数据库，该数据库将能够通过 SQL 查询进行查询。
我应该使用哪种技术？合适吗
？LINQ to SQL

Answer 1

我的建议是使用 Filehelpers 库http://filehelpers.sourceforge.net/之类的东西来获取数据库中的日志文件。

一个基于 DirectoryInfo 类 (http://msdn.microsoft.com/en-us/library/system.io.directoryinfo.aspx) 的简单 foreach，您的日志文件就在其中。

您是否使用 Linq-2-sql 或其他技术进行插入取决于记录数。Linq-2-sql 不太适合大批量插入，因为它会为每条记录生成一个插入语句。我会将SqlBulkCopy与FileHelpers结合起来。这将是简单且高性能的。

之后，Linq-2-sql 可以很好地查询数据库中的表。

Answer 2

SQL 与结构化数据一起使用，如果您的日志文件只是原始文本文件，那么您就不走运了。我的建议是解析日志文件，创建本地数据结构来封装文件中的重要数据
你可以有类似的东西

class LogFileRow
{
  DateTime timestamp{get; set;}
  int ActivityId{get; set;}
  string Message{get; set;}
....
}

然后对LogFileRow.