问题标签 [log-analysis]

我正在使用 OtrosLogViewer 分析我的 glassfish 日志文件。但似乎软件无法正常工作。我认为我的模式是错误的。

这是我的服务器日志示例（Glassfish 4.0）：

如何修改我的模式以使其工作？我对 OtrosLogViewer 的模式感到很困惑。

谢谢。

我有这些行的日志：

其中第一列 ( in24.inetnebr.com) 是主机，第二列 ( )01/Aug/1995:00:00:01 -0400是时间戳，第三列 ( GET /shuttle/missions/sts-68/news/sts-68-mcc-05.txt HTTP/1.0) 是下载的页面。

如何使用 Pig 找到每个主机的最后两个下载页面？

非常感谢您的帮助！

默认情况下，水槽将一行视为一个事件，但我想打破其他一些标准，如何在水槽中实现？

这是我正在写入 HBase 的日志文件。粗体线我想作为一个事件并作为另一个事件休息。基本上我想打破日期的事件？有可能在水槽中做吗？

感谢和问候 Chhaya

我需要使用 R 中的 ggplot2 包绘制一个使用 x 对数刻度具有一些负值的图形。

例如，我想使用 x 对数刻度绘制这些点

我知道 R 中负值的对数会产生 NA 值，但我需要这样的结果：

这可能使用ggplot2吗？

我正在用 bash 编写简单的脚本，以实时分析一些日志，并想知道如何处理这样一个事实，即每隔几秒钟我就必须在上次阅读完的文件中找到位置。现在我正在做这样的事情：

因此，每个周期我都会从文件末尾获取一些行，并寻找上一次运行中最后的行。这将工作得很好，直到在一个周期内将添加更多定义的行数。我总是可以这样说，LINES=10000但在这种情况下，会有大量无用的运行只是为了确定我是否找到了上一次运行的最后一行。我想知道我是否可以做得更有效率？

我正在创建一个 python 脚本来分析日志文件（例如：http ://www.monitorware.com/en/logsamples/apache.php ），并且需要我可以用来实现此目的的方法建议。

1. 用方法读取日志文件open。好的。
2. 计算日志的经过时间？我使用哪种方法从日志行中的特定位置读取？示例：64.242.88.10 - - [07/Mar/2004:16:05:49 -0800] "GET /twiki/bin/edit/Main/Double_bounce_sender?topicparent=Main.ConfigurationVariables HTTP/1.1" 401 12846 在这种情况下，如何计算某个位置（如年份）之后的经过时间？
   
   我还需要显示每分钟服务的请求数、发送的数据总量、发送的平均数据量、单个请求中发送的最大数据量。

为了对抗僵尸网络攻击，我试图分析一个 nginx access.log 文件来找出哪些用户代理是最频繁的，这样我就可以找到罪魁祸首并拒绝他们。我怎样才能做到这一点？

I have a squid log, and I have to find out the users who are logged in from two different IPs ( their password may be compromised )

I have extracted three info (user, time, ip) from the log and stored in another file

now since there are like millions of lines like this my approach is taking hours

After processing I want the information as the users who are logged in from different ip eg.

that means there are two persons using the very same user name and password from two different ip.

I hope it'll make the question more clear.

目前，在我的网络应用程序日志中，我有充满消息的大文本文件。它们很难用于调试和分析。我在想象以下内容，我想知道它是否已经存在，还是我需要构建它？

我希望将日志消息与当前请求和会话相关联，以便我可以将 UI 中的日志作为可折叠树查看。在摘要级别，我可能会按用户/会话查看，并在这些查看请求以及请求中花费的总时间。从那里我可以深入到一个请求并查看更深层次的日志消息。包含警告或错误的请求将通过过滤器突出显示或选择。

我还希望系统是可扩展的，而不是黑匣子。我想将异步任务连接到会话/请求，即使这些事情发生在其他线程中。我想将此与客户端 Javascript 错误集成。那是另一个问题，但关键是我需要一些可扩展的东西。

这是一个普遍的问题，如果这是常识，请原谅我，我什至不知道到底要搜索什么。

我处理通常格式相同的大量日志文件（不是全部）。

我想做的是读取每个条目，然后以编程方式处理错误，例如，删除用户！= root 的每个条目。然后使用以下元组删除每个错误。然后告诉我还剩下什么，但仅限于时间在 12:16 和 14:26 之间的那些

通过正则表达式定义这些日志条目是没有问题的。

这样的事情存在吗？它必须！它叫什么？有IDE，python模块吗？

非常感谢任何帮助！