0

我需要帮助从我的 siem 获取日志事件并将它们处理成一个 csv 文件，该文件可以被摄取到 hadoop 中以进行进一步处理。以下是来自 siem 的示例和所需的结果。我在 python 中工作，但我没有我需要的经验。

Apr 22 11:52:28 siem <159>Apr 22 11:55:26 10.1.1.10 LEEF:1.0|Websense|Security|7.7.3|transaction:permitted|sev=1       cat=9   usrName=LDAP://10.10.10.10 OU=Standard Users,OU=Users,OU=Frostbyte Falls,OU=Frostbyte - QSD,OU=CDG,OU=North America,DC=Global,DC=bullwinke,DC=com/Mr. Moose  src=10.1.10.10        srcPort=62133   srcBytes=233    dstBytes=39469  dst=165.254.42.233   dstPort=80  proxyStatus-code=200    serverStatus-code=304   duration=0 method=GET       disposition=1048  contentType=application/zip     reason=-        policy=role-8**US Frostbyte        role=8  userAgent=IPM url=http://acroipm.adobe.com/10/rdr/ENU/win/nooem/none/message.zip

Hive 列定义：日期时间 log​​source 用户 srcIP srcPort dstIP dstPort 方法负载

csv中的期望格式： 

Apr 22, 11:55:26, 10.1.1.10, Mr. Moose, 10.1.10.10, 62133, 165.254.42.233, 80, GET, url=http://acroipm.adobe.com/10/rdr/ENU/win/nooem/none/message.zip

想法？

问候

4

2 回答 2

2

我同意 Peter Varo 的观点，如果可能的话，您可能希望使用更好的格式。但是如果你必须解析其他东西产生的数据……好吧，你必须解析它。

如果您想通过正则表达式来执行此操作，我强烈建议您匹配整行或逐行解析，而不是收集所有日期，然后收集所有时间等。例如：

import csv
import re

r = re.compile(r'''(?x)
                >(?P<date>\w\w\w\s\d\d) \s
                (?P<time>\d\d:\d\d:\d\d) \s
                (?P<logsource>\d+\.\d+\.\d+\.\d+) \s
                .*?
                DC=com/(?P<user>.*?) \s+
                src=(?P<srcIP>\d+\.\d+\.\d+\.\d+) \s+
                srcPort=(?P<srcPort>\d+) \s+ .*?
                dst=(?P<dstIP>\d+\.\d+\.\d+\.\d+) \s+
                dstPort=(?P<dstPort>\d+) \s+ .*?
                method=(?P<method>\w+) \s+ .*?
                url=(?P<url>.*(?!\s))
                ''')

with open(logpath) as logfile, open(csvpath, 'w') as csvfile:
    csv.writer(csvfile).writerows(r.findall(logfile))

但是，您的日志格式似乎是一个定义明确的格式，挤在另一个里面。换句话说，你有一个典型的 syslog 格式TIMESTAMP SOURCE <PID>MESSAGE，然后MESSAGE是某种中间有 LDAP URL 的东西，等等。至少其中一些东西有众所周知的正则表达式（或其他解析器），那么为什么要从头开始编写它们呢？

于 2013-05-24T00:02:51.080 回答
1

首先：你应该选择一个更好的序列化输出，因为这种情况下的字符串处理非常危险，也没有你希望的那么有效。

但是，我为您的问题做了一些正则表达式捕获，这些都是列表，但我想从那里，您可以决定您想要访问的方式和字符串数据，并且您始终可以','.join(<list here>)在最后将项目加入用逗号列出..

但是正如我上面提到的，我不推荐你这个解决方案，你应该从源头中捕获这些数据。

import re

string = 'Apr 22 11:52:28 siem <159>Apr 22 11:55:26 10.1.1.10 LEEF:1.0|Websense|Security|7.7.3|transaction:permitted|sev=1       cat=9   usrName=LDAP://10.10.10.10 OU=Standard Users,OU=Users,OU=Frostbyte Falls,OU=Frostbyte - QSD,OU=CDG,OU=North America,DC=Global,DC=bullwinke,DC=com/Mr. Moose  src=10.1.10.10        srcPort=62133   srcBytes=233    dstBytes=39469  dst=165.254.42.233   dstPort=80  proxyStatus-code=200    serverStatus-code=304   duration=0 method=GET       disposition=1048  contentType=application/zip     reason=-        policy=role-8**US Frostbyte        role=8  userAgent=IPM url=http://acroipm.adobe.com/10/rdr/ENU/win/nooem/none/message.zip'

dates = re.findall(r'(\w+)\s(\d+)\s(\d+:\d+:\d+)\s', string)
ip = re.findall(r'\d+\.\d+\.\d+\.\d+', string)
url = re.findall(r'url=.*(?!\s)', string)
dstport = re.findall(r'dstPort=(\d+)', string)
srcport = re.findall(r'srcPort=(\d+)', string)
method = re.findall(r'method=(\w+)\s', string)
user = re.findall(r'DC=com/(.*)\ssrc=', string)

print dates, ip, url, dstport, srcport, method, user
于 2013-05-23T23:20:03.083 回答