问题标签 [log-analysis]

如何在 Java 中读取 Web 服务器日志文件。这个文件一直在更新。如果我打开一个新的 FileInputStream，它会实时读取日志吗？

问候

我希望这里有一个关于 SO 的 SharePoint 专家可以提供帮助。

这就是问题所在。我的 SharePoint 日志多次包含此行：

An SPRequest object was not disposed before the end of this thread. To avoid wasting system resources, dispose of this object or its parent (such as an SPSite or SPWeb) as soon as you are done using it. This object will now be disposed. Allocation Id: {8D090AD2-5D55-42C2-9873-2D5486FE257C} To determine where this object was allocated, create a registry key at HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Shared Tools\Web Server Extensions\HeapSettings. Then create a new DWORD named SPRequestStackTrace with the value 1 under this key.

我编辑了注册表并添加了密钥，但找不到堆栈跟踪。它不在 SharePoint 日志或事件查看器中。

我真的需要找到这些 SPSite/SPWeb 泄漏的来源并修复它们，但我不能只是开始编辑可能是也可能不是问题根源的代码。有没有人有什么建议？

在阅读了 O'Reilly 的一篇关于该主题的文章后，我想向 Stack Overflow 询问他们对此事的看法。

我正在寻找追溯分析日志并计算 /foo/* 请求的数量，这些请求具有我们正在推动的新功能的基线基准。一个简单的命令行脚本就可以了——还有一个额外的好处是能够指定一个日期范围。

一些使用 grep，也许？

哪个是最好的 Postfix Log 分析器？我们正在为 postfix 寻找好的日志分析器。我们需要分析以下内容

1. 有多少邮件排队？
2. 有多少邮件没有送达？
3. 为什么邮件没有送达？

是否可以查看所有邮件状态的主题而不是邮件 ID？我的意思是查看单个邮件的状态。

我们现在正在使用 Sawmill 分析仪。但管理层对来自 sawmaill 的报告并不满意，因为它缺少单个消息状态和主题。

我可以获得一些关于 Glassfish 日志文件的良好日志分析软件的建议吗？由于它不会因应用服务器而异，因此我想所有服务器都有一个通用的解决方案。

谢谢

由于 zomg 项目似乎已经死了（自 2009 年 11 月以来没有新的提交），我想知道你们中是否有人使用/使用它（成功的结果）。或者，如果您对这个项目的未来有所了解。

如果没有，这个项目有没有其他选择。我正在寻找有助于从（apache）日志中提取数据（使用 Hadoop 作为批处理系统），将其存储到 HBase 中，帮助查询这些数据的工具。

我正在寻找一个解析日志文件（或传入请求）并在请求来自搜索引擎时提取搜索词的库。

有没有提供这个功能的好库？

任何语言都可以。

我有一个包含多个子域的站点，所有子域都记录到同一个 access_log 文件中。由于文件可能非常大，我有一个脚本可以将每个子域提取到自己的文件中。

我在 Apache 中有一个自定义日志文件格式，如下所示：

我的日志文件中的一行如下所示：

日志格式10条，日志10条。查看。

我正在尝试使用 awstats 在我的 awstats 配置文件中使用以下 Logformat 分析这些：

LogFormat="\"%host_r\" %host %logname %logname %time1 %methodurl %code %bytesd %refererquot %uaquot"

我从 awstats 获得的唯一输出来自每月历史记录部分。其他所有内容要么为空白要么为零。

我的生成脚本如下所示：

我究竟做错了什么？

我需要从不同类型的日志文件中收集和存储大量数据，但之前有必要过滤某些字段以仅提取必要的信息。因此，我正在考虑使用 ETL 工具为我提供垃圾服务的可能性。我的想法是构建一个基于文件连接器的解决方案，编程或自定义转换过程，最后将该解决方案部署在 linux 机器上，以便能够即时查看文件，提取所需信息并将其存储在数据库中。

所以我的问题是。有什么开源工具更适合、更灵活、更适合这个工作？

Scriptella、Kettle、Talent 还是其他？

再次，作为事实上的工具使用日志/文本文件？

男子汉的意图和目标是创建一个有效的解决方案来观察、提取日志和存储数据形式的区域日志格式。

谢谢！