我有一个大文件（数百万行），其中包含来自几个小时网络捕获的 IP 地址和端口，每行一个 ip/端口。行的格式如下：
ip.ad.dre.ss[:port]
我在记录时收到的每个数据包都有一个条目，因此有很多重复的地址。我希望能够通过某种 shell 脚本运行它，该脚本能够将其减少为格式的行
ip.ad.dre.ss[:port] count
其中count是该特定地址（和端口）的出现次数。无需做任何特殊工作，将不同的端口视为不同的地址。
到目前为止，我正在使用此命令从日志文件中抓取所有 IP 地址：
grep -o -E [0-9]+\.[0-9]+\.[0-9]+\.[0-9]+(:[0-9]+)? ip_traffic-1.log > ips.txt
由此，我可以使用一个相当简单的正则表达式来刮掉我的地址发送的所有 IP 地址（我不在乎）
然后我可以使用以下内容提取唯一条目：
sort -u ips.txt > intermediate.txt
我不知道如何通过排序以某种方式汇总行数。
您可以使用该uniq命令来获取已排序的重复行的计数：
sort ips.txt | uniq -c
要获得最常见的结果（感谢 Peter Jaric）：
sort ips.txt | uniq -c | sort -bgr
要计算唯一行的总数（即不考虑重复行），我们可以使用uniq或 Awk wc：
sort ips.txt | uniq | wc -l
awk '!seen[$0]++' ips.txt | wc -l
awk 的数组是关联的，因此它的运行速度可能比排序快一点。
生成文本文件：
$ for i in {1..100000}; do echo $RANDOM; done > random.txt
$ time sort random.txt | uniq | wc -l
31175
real 0m1.193s
user 0m0.701s
sys 0m0.388s
$ time awk '!seen[$0]++' random.txt | wc -l
31175
real 0m0.675s
user 0m0.108s
sys 0m0.171s
这是获取重复行数的最快方法，并按照最不频繁到最频繁的顺序将它们很好地打印出来：
awk '{!seen[$0]++}END{for (i in seen) print seen[i], i}' ips.txt | sort -n
如果您不关心性能并且想要更容易记住的东西，那么只需运行：
sort ips.txt | uniq -c | sort -n
PS：
sort -n将字段解析为数字，这是正确的，因为我们使用计数进行排序。