问题标签 [logfiles]

好的，这就是场景：我需要解析我的日志，以查找下载了多少次图像缩略图而不实际查看“大图像”页面......这基本上是一个基于“拇指”比率的盗链保护系统“完整”图像视图

考虑到服务器不断受到对缩略图的请求的轰炸，最有效的解决方案似乎是使用缓冲的 apache 日志，每隔 1Mb 写入一次磁盘，然后定期解析日志

我的问题是：如何在 PHP 中解析 apache 日志以保存数据，以下是正确的：

• 日志将被实时使用和更新，我需要我的 PHP 脚本能够在完成此操作时读取它
• php 脚本必须“记住”它读取的日志的哪些部分，以免重复读取同一部分并歪曲数据
• 内存消耗应该最少，因为日志可以在几个小时内轻松达到 10Gb 的数据

php 记录器脚本将每 60 秒调用一次，并在此期间处理它可以处理的任何数量的日志行。

我试过一起破解一些代码，但我在使用最少的内存时遇到问题，找到一种方法来跟踪具有“移动”文件大小的指针

这是日志的一部分：

在此处附上代码供您查看：

我用C写了这段代码：

此代码以附加模式打开一个文件并附加 200 次字符串。我设置了可以包含完整字符串的大小为 100 的 buf。然后我使用这个 bash 脚本创建了多个运行这段代码的进程：

我希望在输出中字符串永远不会混淆，因为我读到当打开带有 O_APPEND 标志的文件时，文件偏移量将在每次写入之前设置为文件末尾，并且我使用的是完全缓冲的流，但我得到每个进程的第一行是这样混合的：

后面几行

看起来写入因调用 rand 函数而被中断。

那么......为什么会出现这些线条？防止这种情况的唯一方法是使用文件锁定......即使我只使用附加模式？

提前致谢！

Is there a tool that is able to collect and count (Java) stacktraces in a large logfile, such that you get an overview which errors occur most often?

我需要合并两个 XML 日志文件。一个日志文件包含带有位置更新的跟踪。另一个日志文件包含收到的消息。可以有多个接收到的消息，中间没有位置更新。

两个日志都有时间戳：

• 跟踪日志使用 <date>（例如 14.7.2012 11:08:07）
• 消息日志使用 unix 时间戳 <timeStamp>（例如 1342264087）

跟踪的结构如下所示：

消息的结构是这样的：

进行合并时，应读取时间戳（也转换/比较“日期”和“时间戳”）并以正确的顺序添加所有位置和消息。

可以直接添加位置数据。但是，消息应该放在 <item> 标记内，应该添加一个 <date> 标记（基于消息的 unix 时间），并且 <Message> 标记应该替换为 <m:Message type="received" > 标签。

不幸的是，这不是一个“简单”的合并，尤其是当日志文件的大小介于 5 MB 和 700 MB 之间时...... :-/

结果可能如下所示：

有没有支持这样合并的工具？或者有什么简单的方法可以使用java解决这个问题？

我非常感谢有关如何解决此问题的任何提示。

目前我正在尝试获取已从 mysql 数据库中删除的丢失记录。

我查看了 logfile1 和 logfile0 中的条目，它似乎是正确的。

任何可以帮助创建 txt 文件或能够读取文件的查看器或转换将不胜感激。

我在谷歌应用引擎上运行我的应用程序.....由于交通繁忙，我的日志文件很大 日志文件看起来像这样

我想处理它们以获得有意义的统计信息，例如否。唯一的 IP 地址或没有。给定页面上的点击量....我是初学者，所以不知道该怎么做！！！！！！！

我的应用程序在谷歌应用程序引擎上运行直到现在我一直在下载日志文件，然后使用 python 将它们处理成有意义的数据

但是，现在为了管理的使用，我想直接在应用引擎上处理日常日志文件，以便报告可以直接发送给相关人员......

这可能......请提出一些方法......

我正在寻找一种读取SQL Server 2008日志文件的方法，而不是显示信息，而是读取符号的含义和 LOG 表的结构。我正在使用DBCC LOG('my_table', 3).

我的一个服务器实例在运行 adobe Coldfusion 8.1 企业版的多实例设置中开始出现问题。内置的 cf 服务器监视器不断地抛出这些警报快照，但是，同一个盒子正在运行 Fusion Reactor {http://www.fusion-reactor.com/fr/}，我无法弄清楚它们来自哪里。有人有任何指针或好工具来解码这些文件吗？

完整链接： http: //pastebin.com/42M2Nzpj

我有一个在 Linux Machine 中生成日志文件的应用程序。

我想在生产时监控应用程序，所以当我使用带有日志文件名的 tail 命令时，它只显示更新文件的一部分。

我使用的命令是 tail MyLog.log

我的问题是，是否可以看到更新的文件的全部最新部分？有什么建议么？