我需要帮助从我的 siem 获取日志事件并将它们处理成一个 csv 文件,该文件可以被摄取到 hadoop 中以进行进一步处理。以下是来自 siem 的示例和所需的结果。我在 python 中工作,但我没有我需要的经验。
Apr 22 11:52:28 siem <159>Apr 22 11:55:26 10.1.1.10 LEEF:1.0|Websense|Security|7.7.3|transaction:permitted|sev=1 cat=9 usrName=LDAP://10.10.10.10 OU=Standard Users,OU=Users,OU=Frostbyte Falls,OU=Frostbyte - QSD,OU=CDG,OU=North America,DC=Global,DC=bullwinke,DC=com/Mr. Moose src=10.1.10.10 srcPort=62133 srcBytes=233 dstBytes=39469 dst=165.254.42.233 dstPort=80 proxyStatus-code=200 serverStatus-code=304 duration=0 method=GET disposition=1048 contentType=application/zip reason=- policy=role-8**US Frostbyte role=8 userAgent=IPM url=http://acroipm.adobe.com/10/rdr/ENU/win/nooem/none/message.zip
Hive 列定义:日期时间 logsource 用户 srcIP srcPort dstIP dstPort 方法负载
csv中的期望格式:
Apr 22, 11:55:26, 10.1.1.10, Mr. Moose, 10.1.10.10, 62133, 165.254.42.233, 80, GET, url=http://acroipm.adobe.com/10/rdr/ENU/win/nooem/none/message.zip
想法?
问候