我收集了几 mb 的网络流量,并希望对其进行分析。我面临的问题是我想以一种可以降低搜索时间复杂度的方式存储它。
我脑海中的第一个想法是将其放入具有列中所有可能属性的数据库中,但后来我意识到表中会有很多 NULL 值,这会降低数据库的性能。即使小型数据库的性能下降很小,当我解析一个大的 *.pcap 文件(大于 1Gb)时,性能下降也会极大地影响数据库的性能。因为数据库的大小会增加,表中 NULL 值的数量也会增加。
那么有没有更好的方法来存储 *.pcap 文件以供分析,我一直在研究 XML 树作为解决方案,但我不确定。我正在使用 python 来执行此操作,并且正在使用 dpkt 模块从 *.pcap 文件中提取数据
提前致谢