我们有大量的事件日志流量（由入侵检测系统 NIDS 和 HIDS 生成，但无论如何）
流量是异步的，事件也不相同，但每个事件至少有这些细节： -日期
和时间， -
协议，
-源 IP 和端口， -目标
IP 和端口，
-Payload 和……。
我们想要创建一个关联引擎，首先接收此事件日志（即通过 syslog），然后解析事件并分离上述参数，最后重要的部分是我们希望将这些参数相互关联并生成新警报。
例如，相关规则可能是：如果源 ip 在一分钟内重复超过 20 次，并且如果这样的一分钟每天重复超过 40 次，则生成警报。
最大的问题是通常每秒超过 30,000 个事件的事件数量！应该通过100 多个相关规则进行相关，如上述。
以前流行的解决方案大多是用C/C++编写的，使用 MySQL (Maria dB)，但出于某种原因，我们更喜欢python和PostgreSQL。
1-首先我想知道瓶颈是依赖还是独立于编程语言、数据库或其他东西。
2-其次，如果第一个问题的答案是“是”，python和 postgres 可以为我们处理这样的性能吗？是否有一个有效的案例研究以前做过这样的事情？（或任何基准）
问问题
603 次