问题标签 [logfile-analysis]

对于 Apache 2.2 访问日志文件的良好日志分析软件，我能否获得一些建议（最好有某些原因）？

我听说过Webalizer和AWSStats，但从未真正使用过它们中的任何一个，并且想知道：

• 他们能做什么
• 为什么它们有用
• 它们的有趣用途

欢迎任何和所有的评论和想法。

我有一堆 perfmon 文件，它们在一段时间内捕获了信息。处理这些信息的最佳工具是什么？理想情况下，我希望能够查看已监控的对象计数器每小时的平均统计数据。

关注 MapReduce 有一段时间了，它似乎是一个很好的实现容错分布式计算的方法。我阅读了很多关于该主题的论文和文章，在一系列虚拟机上安装了 Hadoop，并进行了一些非常有趣的测试。我真的认为我了解 Map 和 Reduce 步骤。

但这是我的问题：我不知道它如何帮助进行 http 服务器日志分析。

我的理解是，大公司（例如 Facebook）使用 MapReduce 来计算他们的 http 日志，以加快从中提取受众统计数据的过程。我工作的公司虽然比 Facebook 小，但每天都有大量的网络日志需要计算（100Go 每月增长 5% 到 10%）。现在我们在单个服务器上处理这些日志，它工作得很好。但是，分配计算作业会立即成为一种很快就会有用的优化。

以下是我现在无法回答的问题，任何帮助将不胜感激：

• MapReduce 概念真的可以应用于博客分析吗？
  
• MapReduce 是最聪明的方法吗？
  
• 您将如何在各种计算实例之间拆分 Web 日志文件？

谢谢你。
尼古拉斯

我正在使用 Delphi 2007，并且有一个应用程序可以通过内部网络从多个地方读取日志文件并显示异常。这些目录有时包含数千个日志文件。应用程序可以选择仅读取最近 n 天的日志文件，它也可以在任何日期时间范围内。

问题是第一次读取日志目录时可能会非常慢（几分钟）。第二次速度要快得多。

我想知道如何优化我的代码以尽可能快地读取日志文件？我正在使用 vCurrentFile: TStringList 将文件存储在内存中。这是从 FileStream 更新的，因为我认为这更快。

这是一些代码：

Refresh : 读取日志文件的主循环

UpdateView 方法：向 displaygrid 添加一行

确定行是否在日期范围内的方法：

测试文件日期是否在范围内：

我正在开发 5 个不同的 rails 项目，还重构了一些项目（从旧版 rails 移动到 2.3）——从日志文件中提取错误信息的最佳方法是什么，这样我就可以看到所有折旧警告、运行时错误等等开，所以我可以努力改进代码库？

是否有任何可以推荐的服务或库，它们实际上有助于 Rails 日志文件解析？

我在ServerFault尝试了这个问题，但没有任何运气，所以我想我会在这里尝试。

我正在开发一个供外部访问者和内部员工使用的公共网站。我在外部访问者点击后，但我想不出过滤掉内部 IP 范围的好方法。

使用 LogParser，按 IP 范围过滤 IISW3C 日志的最佳方法是什么？

到目前为止，这就是我想出的全部，这不可能是最好或最有效的方法。

WHERE [c-ip] NOT LIKE (10.10.%, 10.11.%)

任何帮助表示赞赏。

我目前正在开发一个可以读取完整 LaTeX 日志的解析器。大多数日志格式虽然很奇怪，但很容易理解，但这些方括号让我感到困惑。这是我的一个日志末尾附近的一个示例：

谁能给我一个提示，这些方括号是什么意思？我看不到它们的任何结构。

我怀疑上面的 2/3 行是某种代表盒子布局的 ASCII 艺术，尽管我对 badboxes 知之甚少，无法证明这一点或识别单个字符的含义。

然后，“[104”等似乎与页码相对应，但我仍然没有看到方括号之间有时有某些东西的原因（如上面的 pdfTeX 警告），有时没有。

我有很多日志文件数据，我想从中显示动态图表，基本上是任意时间段，可选地由不同的列过滤或聚合（我可以预先生成）。我想知道将数据存储在数据库中并访问它以显示图表的最佳方法，当：

• 时间分辨率应该从一秒到一年不等
• 有跨越几个“时间段”的条目，例如一个连接可能已经打开了几天，我想计算并显示用户连接的每一个小时，而不仅仅是在创建连接的小时“槽”中或完成

是否有用于帮助处理此类和大量数据的 Rails 的最佳实践或工具/插件？是否有专门为此量身定制的数据库引擎，或者具有有用的功能（例如 CouchDB 索引）？

编辑：我正在寻找一种可扩展的方式来处理这些数据和访问模式。我们考虑的事情：为每个存储桶运行查询，在应用程序中合并 - 可能太慢了。GROUP BY 时间戳/粒度 - 不能正确计算连接数。以最小的粒度将数据预处理成行并在查询中进行下采样——这可能是最好的方法。

我需要分析在我的网站上进行的搜索引擎爬行。有没有一个很好的工具呢？我试过AWStats和Sawmill。但这两者都让我对爬行的了解非常有限。我需要知道一些信息，例如我网站的某个部分中有多少独特/不同的网页在一段时间内被特定的爬虫爬取。

由于其 javascript 跟踪机制，谷歌分析根本不跟踪抓取。

故障排除、分析和过滤日志文件是迄今为止最费力的日常工作之一。我的问题是搜索一个日志文件，该文件的大小可能超过 4 个演出。只需加载文件最多需要 15 分钟。我正在运行一个相当快的处理器，它有 8 个内存。文件加载后，我实际上只能使用 grep 和/或 control+F 来扫描文件。当我试图查看来自多个系统的文件时，情况会变得更糟，每个系统的重量都超过一个演出。曾尝试根据时间戳分离文件以使它们更小，但真的没有乐趣。

是否有一个工具甚至一个过程可以用来减少故障排除的时间（除了通常的“先修复错误”）？

感谢您的意见。