问题标签 [logfile-analysis]

我们有 mySQL 数据库的日志文件，我们希望使用该日志文件进行分析（数据挖掘、机器学习等），我对此非常陌生。

你能指导我怎么做吗？

我有一个很大的日志文件，我试图从使用 powershell 正则表达式中提取两条信息到一行。日志包含各种数据，但我感兴趣的块我在下面给出了示例。我正在尝试查找使用错误版本的应用程序登录的用户。

示例数据（预览中没有显示，但有换行符）：

我需要为这些中的每一个返回的是：

理想情况下，我想排除其中包含 4.82.1 的任何记录，因为这是正确的版本。

对于用户名部分，我可以使用类似(?<=Device User Name: )(.*)

我如何获得它旁边的版本号？
版本号总是以“Client-Version”（一些文本）“v”（版本号）开头，然后是 a 或 ;

正则表达式总是让我头疼。任何帮助将不胜感激。

如何以相反的顺序处理日志文件（在我的情况下为 nginx access.log）？

背景 我正在开发一个日志文件分析器脚本，但我无法从头开始处理如何处理大量日志文件，因此我可以从我需要的最新日期开始整理时间范围。

我有一个日志文件 (*.log) 我希望解析和查询如下：

我想要做的是用标题分割每一行，如下所示：

• 线，
• 日期，
• 时间，
• 类型，
• 描述

...所以我可以对此执行查询。

这样做的最佳方法是什么？

有一个my_file.txt我知道的日志文件具有以下结构：

我想要做的是在 perl 的正则表达式的帮助下提取以分隔符开头的所有行的值milk（我事先知道）。然后我知道我将有许多值名称（在玩具示例marta中 , joe, ralph），每个名称后跟一个十进制或十六进制值。

• 有没有办法在事先不知道它们是十进制还是十六进制的情况下读取这些值？

• 存储此值的最佳方法是什么？我想用 , , 的键来做一个哈希marta，joe但ralph我可能事先不知道它们，这意味着一旦我阅读了第一行，我就会知道所有这些，而不是以前。

到目前为止，我的尝试来了

我在多个 Windows 集群上有大约 1000 个站点。IIS 日志文件（文本文档）可用于服务器上设置位置的每个站点。我正在寻找的解决方案应该能够执行以下操作。

1) 将日志文件推送到云端。2）读取这些日志文件并聚合数据，如访问、查看、按 url 的点击，并将其存储在云中以便于报告。3) 通过第三方报告解决方案访问汇总数据。

首先，我想弄清楚我的选择是什么以及我需要什么样的设置。

平台：RHEL7

情况：

• crontab 脚本每 5 分钟向 JMeter 报告文件附加新结果
• 另一个 awk 脚本查找大于 500 毫秒的响应时间并发送电子邮件警报

问题陈述：

• 要求是仅扫描报告文件中新添加的行。目前，awk 脚本每次都读取完整的报告
  ，甚至针对较旧的事件发送警报。awk -F "," '$4 != 200 || $14> 500' results.jtl
• 如果awk脚本可以从文件末尾读取到上次读取的行，则非常有用。这将有助于首先为最新事件创建警报。

任何建议都会有很大帮助。

我在本地使用 Postfix。我正在编写一个脚本来获取每天的延迟/退回邮件报告。如果我是正确的，通常日志会像日志文件中的列一样打印。

我的建议是我想grep前一天的“to”，“status”，“said”，它的消息例如“said：550 Invalid Recipient”。事情是相同的日志被打印了几次，但我需要grep 所有类似日志中的任何一个。

2 月 13 日 13:40:35 ganga11 postfix/smtp[12098]: 3371F2BF52: to=, relay=none, delay=1.2, delays=0.84/0.01/0.27/0.07, dsn=5.1.1, status=bounced (主持人说: 550 5.1.1 Recipient not found. http://x.co/irbounce (回复 RCPT TO 命令))

2 月 13 日 13:40:35 ganga11 postfix/smtp[6923]: 3371F2BF52: to=, relay=none, delay=1.5, delays=0.84/0/0.46/0.19, dsn=5.0.0, status=bounced (主持人说: 550 没有这样的用户 (grace@mmn.com (回复 RCPT TO 命令))

2 月 13 日 13:40:35 ganga11 postfix/smtp[29489]: 3371F2BF52: to=, relay=none, delay=1.3, delays=0.84/0.01/0.38/0.1, dsn=5.0.0, status=bounced (主持人说: 550 #5.1.0 地址被拒绝。（回复 RCPT TO 命令））

Feb 13 08:14:45 ganga11 postfix/smtp[6736]: F093B2BCA3: to=, relay=none, delay=6139, delays=6139/0.02/0.15/0, dsn=4.4.1, status=deferred (connect to aaaaaa.co.in 连接被拒绝）

2 月 13 日 13:40:36 ganga11 postfix/smtp[6940]: 3371F2BF52: to=, relay=none, delay=2.3, delays=0.84/0.01/0.17/1.3, dsn=5.1.1, status=bounced (主持人说: 550 5.1.1 Recipient not found. http://x.co/irbounce (回复 RCPT TO 命令))

2 月 13 日 13:40:35 ganga11 postfix/smtp[6923]: 3371F2BF52: to=, relay=none, delay=1.5, delays=0.84/0/0.46/0.23, dsn=5.0.0, status=bounced (主持人说: 550 没有这样的用户 (raj@yahoo.in) (回复 RCPT TO 命令))

Feb 13 04:14:24 ganga11 postfix/smtp[6736]: F093B2BCA3: to=, relay=none, delay=6139, delays=6139/0.02/0.15/0, dsn=4.4.1, status=deferred (connect to xyzz.com 连接被拒绝）

2 月 13 日 17:14:11 ganga11 postfix/smtp[6736]: F093B2BCA3: to=, relay=none, delay=6139, delays=6139/0.02/0.15/0, dsn=4.4.1, status=deferred (connect to bbbbb.com 连接被拒绝）

我正在尝试在 python 中编写一个脚本来查看日志文件并在新行中搜索特定关键字，如果找到发送到特定地址的电子邮件，否则忽略是否有任何 python 模块可以提供帮助？

问候

例如： [2017-04-14 03:56:22,085109]

如果这是事件 A 发生的时间，我想在日志文件中的这一行之前 15 分钟，这将有数千行，我想遍历该期间的每一行并查找特定的关键字。日志文件中的每一行都有相同格式的时间戳。