5

我正在尝试设置一个脚本，当某个字符串出现在日志文件中时会生成警报。

已经到位的解决方案每分钟对整个日志文件进行一次 greps 并计算字符串出现的频率，使用日志行的时间戳仅计算前一分钟的出现次数。

我认为用尾巴做这件事会更有效率，所以我尝试了以下方法作为测试：

FILENAME="/var/log/file.log"

tail -f $FILENAME | awk -F , -v var="$HOSTNAME" '
                BEGIN {
                        failed_count=0;
                }
                /account failure reason/ {
                        failed_count++;
                }
                END {
                        printf("%saccount failure reason (Errors per Interval)=%d\n", var, failed_count);
                }
'

但这只是挂起并且不输出任何内容。有人建议这个小改动：

FILENAME="/var/log/file.log"

awk -F , -v var="$HOSTNAME" '
                BEGIN {
                        failed_count=0;
                }
                /account failure reason/ {
                        failed_count++;
                }
                END {
                        printf("%saccount failure reason (Errors per Interval)=%d\n", var, failed_count);
                }
' <(tail -f $FILENAME)

但这做同样的事情。

我正在使用的 awk（我在上面的代码中进行了简化）工作正常，因为它在现有脚本中使用，其中grep "^$TIMESTAMP"的结果通过管道传输到其中。

我的问题是，如何让 tail -f 与 awk 一起工作？

4

1 回答 1

5

假设您的日志看起来像这样：

Jul 13 06:43:18 foo account failure reason: unknown
 │   │    
 │   └── $2 in awk
 └────── $1 in awk

你可以这样做：

FILENAME="/var/log/file.log"

tail -F $FILENAME | awk -v hostname="$HOSTNAME" '
    NR == 1 {
        last=$1 " " $2;
    }
    $1 " " $2 != last {
        printf("%s account failure reason (Errors on %s)=%d\n", hostname, last, failed);
        last=$1 " " $2;
        failed=0;
    }
    /account failure reason/ {
        failed++;
    }
'

请注意，我已将其更改为tail -F（大写 F），因为它处理日志老化。并非每个操作系统都支持此功能，但它应该可以在现代 BSD 和 Linuces 中使用。

这是如何运作的？

awk 脚本由test { commands; }针对每一行输入的评估集组成。（有两个特殊测试，它们BEGIN的END命令分别在 awk 启动和 awk 结束时运行。在你的问题中， awk 从未结束，因此END代码从未运行。）

上面的脚本包含三个测试/命令部分：

  • 首先，NR == 1是一个仅在输入的第一行上评估 true 的测试。它运行的命令会为变量创建初始值，将last在下一节中使用。
  • 在第二部分中，我们测试“last”变量自评估的最后一行以来是否发生了变化。如果这是真的，则表明我们正在评估新一天的数据。现在是时候打印上个月的摘要（日志），重置我们的变量并继续前进。
  • 第三，如果我们正在评估的行与正则表达式匹配/account failure reason/，我们增加我们的计数器。

清如泥？:-)

于 2012-07-13T12:08:13.240 回答