logging - 避免重叠日志处理

Question

在扫描一系列文件时，例如系统日志，如何避免再次重新扫描同一系列日志？我有兴趣做 Splunk 所做的任何将日志保存在数据库中的操作，但是我想不出一种方法来更新数据库，而无需在先前扫描的文件中放置一些指示符。此过程是否有任何技术，或者我是否必须扫描文件，从上一次扫描中找到最后一项，然后开始处理。

Answer 1

1) Splunk 不使用数据库，它将信息索引到磁盘上的压缩平面文件

2) 如果您使用 Splunk 来监控您的日志文件和日志文件目录，那么 Splunk 足够智能，可以跟踪它在监控中的位置，因此它不会重新索引重复的日志事件。