8

如何按月将现有的 apache 日志文件拆分为单独的文件？

我已经搜索了网络，但找不到任何东西。是的，我知道 logrotate 和 cronolog 等等。但是我发现没有任何东西可以帮助我拆分现有文件。

有 awk 脚本之类的吗？

这是数据的片段：

124.115.5.11 - - [30/May/2011:23:21:37 -0500] "GET / HTTP/1.0" 200 206492 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322;TencentTraveler)"
58.61.164.39 - - [31/May/2011:00:36:35 -0500] "GET / HTTP/1.0" 200 206492 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322;TencentTraveler)"
114.80.93.55 - - [31/May/2011:01:42:17 -0500] "GET / HTTP/1.0" 200 206492 "-" "Sosospider+(+http://help.soso.com/webspider.htm)"
114.80.93.73 - - [31/May/2011:02:03:44 -0500] "GET / HTTP/1.0" 200 206492 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322;TencentTraveler)"
123.125.71.98 - - [31/May/2011:12:33:30 -0500] "GET / HTTP/1.1" 103 24576 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
220.181.108.187 - - [31/May/2011:12:33:55 -0500] "GET / HTTP/1.1" 103 24576 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
123.125.71.117 - - [31/May/2011:13:27:56 -0500] "GET / HTTP/1.1" 103 24576 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
123.125.71.78 - - [31/May/2011:16:45:48 -0500] "GET /node/54 HTTP/1.1" 200 3219 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
124.115.1.8 - - [31/May/2011:19:59:58 -0500] "GET / HTTP/1.1" 200 206492 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"
123.125.71.69 - - [31/May/2011:22:05:46 -0500] "GET / HTTP/1.1" 200 206492 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

这是我的解决方案，受到以下史蒂夫回答的极大启发：

一种使用方式awk：

awk 'BEGIN {
    split("Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec ", months, " ")
    for (a = 1; a <= 12; a++)
        m[months[a]] = a
}
{
    split($4,array,"[:/]");
    year = array[3]
    month = sprintf("%02d", m[array[2]])

    print > FILENAME"-"year"_"month".txt"
}' incendiary.ws-2009

这将输出如下文件：

incendiary.ws-2010-2010_04.txt
incendiary.ws-2010-2010_05.txt
incendiary.ws-2010-2010_06.txt
incendiary.ws-2010-2010_07.txt

针对 150 MB 的日志文件，chepner 接受的答案在 3.4 GHz 8 Core Xeon E31270 上花费了70 秒，而此方法花费了5 秒。

原始灵感：https ://stackoverflow.com/a/11714105/430062

4

2 回答 2

12

一种使用方式awk：

awk '{ split($4,array,"/"); print > array[2] ".txt" }' file.txt

这将输出如下文件：

May.txt
June.txt
July.txt
etc

编辑：

也许您想将年份分开：

awk '{ split($4,array,"[:/]"); print > array[2] array[3] ".txt" }' file.txt

这将输出如下文件：

May2011.txt
May2012.txt
July2011.txt
etc
于 2012-07-30T00:18:01.770 回答
0

很好的答案@steve，我只是颠倒了您示例中的术语，以使年份成为结果文件名的第一部分，因此文件排序至少是半OK的。

awk '{ split($4,array,"[:/]"); print > array[3] "-" array[2] ".log" }' file.txt

这就是你得到的（不理想）

2021-Apr.log
2021-Aug.log
2021-Dec.log
2021-Feb.log
2021-Jan.log
2021-Jul.log
2021-Jun.log
2021-Mar.log
2021-May.log
2021-Nov.log
2021-Oct.log
2021-Sep.log

理想情况下，我会按 %Y-%m，而不是 %Y-%b 订购。也许“awk 向导”可以接受挑战并通过使用第二个脚本处理生成的文件名来为我们做到这一点？

提示： Unix 将月份名称转换为数字

于 2022-02-17T09:47:08.750 回答