logging - 以“实时”速度重播日志文件？

Question

我开始研究一种工具，该工具应该能够近乎实时地处理来自系统（如 apache、syslog 等）的日志文件。

我正准备使用storm/flume/hbase-coprocessors 等工具来实现这一点。

因为我希望能够以“全生产速度”离线测试它，所以我正在寻找一种工具，它可以帮助我以与将系统连接到生产环境时相同的速度重播旧的生产日志文件。

我一直在想，基本上这就是我的想法：

1. 根据日志文件，我使用一些参数运行该工具：
   • 哪个日志文件
   • 行的哪一部分是时间戳
   • “现在”的时间偏移
2. 然后该工具读取文件（无输出），直到看到“now+offset”。
3. 然后它开始以与日志文件中的时间戳所指示的速度大致相同的速度输出行。

是否存在执行此类操作的现有工具？

还是有更好的解决方案来运行这种离线“全速”模拟？

Answer 1

我认为以下开源库（用 GO 编写）可能会满足您的要求： https ://github.com/buger/gor/