我想编写一个实时解析日志文件的工具。日志文件的写入速度非常快,例如每秒约 10k 行。我只需要获取每一行,然后执行一个正则表达式并将结果写入数据库。由于速度的原因,它不能通过完全读取文件来完成,所以我需要编写类似tail -f
. 请告诉我,如何以及使用什么技术可以做到这一点?
PS对不起英语不好。
您可以将日志存储在 RAM 分区中,日志轮换限制为 512MB。因此,您将受到高速 RAM 容量的限制。
如果您指定生成日志的应用程序,我可以告诉您更多信息。您是否尝试过您的任务http://goaccess.io/?