2

我试图在我的 apache 访问日志中找到任何空白用户代理和欺骗用户代理的痕迹。

这是我的访问日志中的典型行：（已编辑 IP 和域）

x.x.x.x - - [10/Nov/2012:16:48:38 -0500] "GET /YLHicons/reverbnation50.png HTTP/1.1" 304 - "http://www.example.com/newaddtwitter.php" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.7 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/534.7 ZemanaAID/FFFF0077"

对于空白用户代理，我正在尝试这样做：

awk -F\" '($6 ~ /^-?$/)' /www/logs/www.example.com-access.log | awk '{print $1}' | sort | uniq

为了查找有关 UA 的信息，我正在运行：（给我每个唯一 UA 的点击量）

awk -F\" '{print $6}' /www/logs/www.example.com-access.log | sort | uniq -c | sort -fr

我可以做些什么不同的事情来使这些命令更强大、更深思熟虑，同时为我提供最好的信息来对抗互联网上的机器人和其他渣滓？

4

1 回答 1

2

我不会\"用作字段分隔符。CLF 的构造足够好，如果你用空格分隔，字段 12 是你的用户代理的开始。如果$12 == '""'，则用户代理为空。

请记住，awk可以接受标准输入。因此，您可以通过以下方式对 Apache 日志进行“实时”监控：

$ tail -F /path/to/access.log | /path/to/awkscript

请记住，当以这种方式调用时，awk 脚本永远不会到达它的END. 但是您可以在 Apache 将它们添加到日志时对其进行处理。

这样的事情可能会有所帮助。添加到您认为合适的位置。

#!/usr/bin/awk -f

BEGIN {
  mailcmd="Mail -s \"Security report\" webmaster@example.com";
}

# Detect empty user-agent
$12 == "" {
  report="Empty user agent from " $1 "\n";
}

# Detect image hijacking
$7 ~ /\.(png|jpg)$/ && $11 !~ /^http:\/\/www.example.com\// {
  report=report "Possible hijacked image from " $1 " (" $11 " -> " $7 ")\n";
}

# Detect too many requests per second from one host
thissecond != $4 {
  delete count;
  thissecond=$4;
}
{
  count[$1]++;
  for (ip in count) {
    if (count[ip] > 100) {
      report=report "Too many requests from " $1 "\n";
      delete(count[ip]);  # Avoid too many reports
    }
  }
}

# Send report, if there is one
length(report) {
  print report | mailcmd;    # Pipe output through a command.
  close(mailcmd);            # Closing the pipe sends the mail.
  report="";                 # Blank the report, ready for next.
}

请注意，在特定秒内计算请求的帮助很小；如果您有大量来自中国的流量，或者防火墙后面的大学/企业网络，那么许多请求可能看起来来自一个 IP 地址。而且该Mail命令不是处理通知的好方法；我将其包含在此处仅用于演示目的。YMMV，盐调味。

于 2012-11-13T14:33:19.087 回答