bash - 如何使用 grep 从文件中输出唯一的代码行？

Question

我有一个大型日志文件，其中包含以下行：

82.117.22.206 - - [08/Mar/2013:20:36:42 +0000] "GET /key/0/www.mysite.org.uk/ HTTP/1.0" 200 0 "-" "-"

我想从与上述模式匹配的每一行中仅提取 ip82.117.22.206后跟一个空格和其中的文本www.mysite.org.uk。ip 和 text 可以不同。因此，鉴于上述行，输出文件中的行将是：

82.117.22.206 www.mysite.org.uk

如何在 bash 中使用 grep 或其他命令使输出唯一，以使输出文件不包含两条相同的行？有人可以推荐我到一个开始学习更多关于这种 shell 脚本的好地方吗？

score 2 · Accepted Answer

使用 perl，您可以捕获部分

use strict;
use warnings;

if (m/^(\d+\.\d+\.\d+\.\d+)\s+-\s+-\s+\[.+?\]\s+\"GET\s+\/key\/0\/(.+?)\//) {
    print "$1 $2\n";
}

并将其称为

perl -n script.pl logfile.txt | sort -u

这会提取所需的字段、排序和消除重复行。

score 0 · Accepted Answer

如果您弄清楚要使用的正则表达式，您可以执行以下操作：

echo "Hello World" | grep "Hell" | sed 's/\(Hell\).*\(World\)/\1 \2/'

只是，你会记录你的日志，而不是回显一个字符串。

score 0 · Accepted Answer

0

grep -Po "^[\d.]*|[^/]*(?=/ HTTP)" file|sed 'N;s/\n/ /'

于 2013-03-08T21:12:17.673 回答

3 回答 3