这是我遇到的问题，我有一组可以很快增长的日志。它们每天都被拆分成单独的文件，并且这些文件可以很容易地增长到一个演出的大小。为了帮助缩小规模，超过 30 天左右的条目将被清除。
问题是当我想在这些文件中搜索某个字符串时。现在，Boyer-Moore 搜索速度慢得令人难以置信。我知道像 dtSearch 这样的应用程序可以使用索引提供非常快速的搜索，但我不确定如何在不占用日志已经占用两倍空间的情况下实现它。
有什么我可以查看的资源可以提供帮助吗？我真的在寻找一种标准算法，它可以解释我应该做什么来构建索引并使用它来搜索。
编辑：
Grep 不起作用，因为此搜索需要集成到跨平台应用程序中。我无法将任何外部程序加入其中。
它的工作方式是有一个带有日志浏览器的 Web 前端。这与自定义 C++ Web 服务器后端对话。该服务器需要在合理的时间内搜索日志。目前搜索几场日志需要很长时间。
编辑 2：其中一些建议很棒，但我必须重申，我不能集成另一个应用程序，它是合同的一部分。但为了回答一些问题，日志中的数据与接收到的医疗保健特定格式的消息或与这些相关的消息不同。我希望依赖索引，因为虽然重建索引可能需要一分钟，但目前搜索需要很长时间（我已经看到它最多需要 2.5 分钟）。此外，很多数据在记录之前就被丢弃了。除非打开某些调试日志记录选项，否则会忽略一半以上的日志消息。
搜索基本上是这样的：Web 表单上的用户会看到最新消息的列表（当他们滚动时从磁盘流式传输，是的 ajax），通常，他们会想要搜索包含一些信息的消息它，可能是患者 ID，或者他们发送的一些字符串，因此他们可以将字符串输入到搜索中。搜索被异步发送，自定义 Web 服务器一次线性搜索 1MB 的日志以获取某些结果。当日志变大时，此过程可能需要很长时间。这就是我要优化的。