5

我有一个应用程序，之后我的任务是清理。应用程序本身相对简单 - 它运行 SQL 查询，使用 Web 服务，并将结果发送到日志文件。我的工作是在应用程序完成后将文件归档到我们的 NAS。它会专门锁定文件，直到处理完它们，所以它增加了一点复杂性。我也不允许触摸应用程序，只能触摸日志。无论如何，我的应用程序相当简单：

  1. 检查文件是否可以打开（捕获 IOException），如果没有抛出异常，则在 bool[] 中将其标记为可访问。
  2. 遍历标记为 true 的文件数组，使用 ReadLine 方法将文件的每一行读入 StreamReader。因为应用程序偶尔会打嗝并且没有完成，所以我不能简单地使用 IOException 来判断文件是否完成 - 我必须实际解析文本。
  3. 如果找到指示完成的文本，请压缩文件，将存档文件加载到 NAS，然后删除原始文件。

我的代码有效，只是非常耗时（每个日志文件大约 500 MB）。我对改进的想法涉及从文件底部而不是从顶部开始搜索，但 StreamReader 不支持这种方法。我不能使用 ReadToEnd 方法然后反向读取，因为这只会引发内存不足异常。关于加快日志文件解析的方法有什么想法吗？

4

1 回答 1

6

我假设您在文件末尾查找单个标记以确定它是否已完成？如果是这样，我还假设标记具有已知长度，例如单个字节或 3 个字节的序列等。

如果上述假设正确，您可以打开 FileStream，查找到文件末尾减去预期的标记长度读取字节，如果标记存在并且完成，您就知道可以处理文件。

寻找到最后 -3 个字节可以使用如下代码完成

// Seek -3 bytes starting from the end of the file
fileStream.Seek(-3, SeekOrigin.End);
于 2010-06-04T17:25:06.137 回答