logging - 减少大型日志文件的工具

Question

我使用巨大的日志文件 - 1GB 左右，其中有许多用户会话，而我只关心一个会话。

我通常可以通过搜索会话 ID（需要 2 分钟以上）来缩小文件中包含我感兴趣的会话的一般区域。之后，我想删除用户会话中发生的事件之前和之后的数据，以使我的后续搜索更快（因为我现在已经缩小了感兴趣的区域）。

我喜欢在谷歌浏览器中加载巨大的日志文件并使用搜索突出显示功能，该功能在滚动条上用标记显示感兴趣的区域，但它不适用于大于 200MB 的文件，并且不允许我删除不相关的部分日志以使后续搜索更快。

我想这是一个普遍的问题。如果我能找到这样的工具，那将是一个巨大的节省时间。

谢谢。

Answer 1

许多 unix 命令行工具可以帮助解决这类问题。特别是 grep 允许查找包含某些字符串或模式（会话 id）的行。默认情况下它返回行，但我也可以在之前或之后返回 n 行。

Answer 2

Splunk是一个很好的日志监控和分析工具。也许它涵盖的内容比您可能需要的要多，但绝对值得一看。有一个免费许可证可用，限制为 500MB/天，如果你想全力以赴，还有一个企业许可证（许可证比较表）。