问题标签 [logfile-analysis]

我的托管计划（托管多个网站的共享托管计划）经历了非凡的 CPU 负载，我发现许多过程来自一个电子商务网站。我关闭了网站，CPU 负载下降（再次处于正常区域）。

我试图通过有问题的网站的日志文件找出是什么触发了这种搜索。我发现日志文件每 2-3 分钟创建一次，并且所有文件都包含类似下一个块的代码行（出于安全原因，我更改了 db 用户名和真实文件夹名称）：

以及以这一行开头的类似代码块：

一个日志文件包含几十个这样的代码块——一个在另一个之下。这看起来像是为了破坏网站的外部尝试（即 sql 注入尝试）吗？

我看到许多日志文件，其中这些行与高 CPU 负载相关。有人有解释吗？

谢谢！

log.txt将如下所示，这些是具有自己时间戳（detection_time）的 ID 数据，将在此 log.txt 文件中不断更新。ID 数据将是不可预知的数字。它可能是从 0000-9999 并且相同的 ID 可能会再次出现在 log.txt 中。

log.txt我的目标是使用 shell 脚本过滤在第一次出现后 15 秒内再次出现的 ID 。谁能帮我这个？

更清楚地说，从log.txt上面看，ID 3661 首先出现在时间 1595556731，然后在 1595556733 再次出现，这距离第一次出现仅 2 秒。所以它符合我想要在 15 秒内再次出现的 ID 的条件。我希望这个 ID 3661 被我的 shell 脚本过滤

运行 shell 脚本后的输出将是 ID = 3661

我的问题是我不知道如何在 shell 脚本中开发编程算法。

这是我尝试使用ID_new和 ID_previous变量但ID_previous=$(ID_new) detection_previous=$(detection_new)不工作的方法

EDIT log.txt实际上数据在一个集合中，包含 ID、detection_time、Age 和 Height。很抱歉一开始没有提到这个

我已经尝试过 awk 解决方案。结果是 4231 3661 2654 3852 4231log.txt 中的所有 ID 正确的输出应该是4231 3661

由此，我认为 Age 和 Height 数据可能会影响 Awk 解决方案，因为它插入在 ID 和 detection_time 的焦点数据之间。

我已经尝试过这段代码，目前它运行良好。但是想要确保代码在同一给定时间有两个最新的文本文件时也能正常工作。

我正在使用lnav在我们创建的自定义日志文件之上进行过滤和查询。由于这是一个自定义日志文件，我需要创建一个自定义格式文件并使用以下命令安装它来定义日志条目的结构。

自定义格式 JSON：https ://pastebin.com/z7sCVqxd

尽管这是在高级别的工作，但我还想使用正文 JSON 中存在的参数应用过滤器。

我在自定义格式化程序中提到的 body 参数是 JSON。并非整个日志条目都是 JSON，只有 body 参数值是 JSON。，在 body 参数中，仅存在日志级别、消息和其他有用信息。

是否可以使用类似的东西，

以及如何定义从body json到Value的其他参数来定义“种类”和“标识符”

谢谢

我的日志文件包含来自不同进程在同一文件上写入数据的数据。日志文件如下所示。

我正在写写 Grok 过滤器模式来提取不同的数据并在 Kibana 板中使用它。我尝试了一种模式，但它只适用于日志文件中的一行，它不适用于整个日志文件。

%{UUID:uuid} > %{WORD:level}:%{INT:LOGlevel} %{WORD:RClevel}: %{INT:RClevel} %{WORD:LOGtype} :%{GREEDYDATA:message}

我需要来自日志的 MGMT_RDCIP_INFO、PCI、DP_DRIVER 数据，例如 RATIO、QUALITY、Ceiling 数据。谁能指导我如何从日志中获取特定的关键字数据。

我需要知道我的日志文件中有多少错误消息。我需要用python编写脚本。例如 ：

我需要脚本返回我 1。

什么是在 DevOps 方面查看和解释日志文件？有几种类型的日志文件，如 linux 终端日志文件、docker 日志文件或环境日志文件。所以我没有从谷歌搜索中得到适当的答案。

我是 syslog-ng 的新手。我已将我的 logFile.log 包含在 syslog 配置文件中，并且服务器成功接收到日志消息。现在我想通过添加严重性和优先级来更正日志消息语法。例如，在文本日志文件中使用此语法

tag: message Syslog 服务器接收到标签和消息格式的消息，我想在文本中设置设施和严重性。时间、IP 和主机都可以。以下配置是我的系统日志配置文件的一部分。

我该怎么做？谢谢

我们在不同的机器上安装了 Zabbix 服务器和 Zabbix 代理，我们能够监控基础设施，但我们也想监控我们的应用程序生成的 JSON 日志文件，并在日志中有任何错误时得到通知，而且它也会是如果我们可以从 Zabbix UI 查询这些日志，那就太好了。所以我想知道这是否可以使用 Zabbix，如果可以，那么任何有用的链接都会受到赞赏。

我有两个连续的时间线。现在我想将第一条时间线中的一些事件覆盖到第二条时间线中。最终时间线不应有重叠事件。

我有一个这样的连续时间表：

如何在现有动作之间插入新动作，以便调整时间甚至完全删除动作？这个问题有什么简单的解决方案吗？

提前致谢！