0

我已经安装并设置了 Facebook Scribe 服务器 (https://github.com/facebook/scribe)。现在我要收集记录的数据并将其处理到一些存储中。Scribe 将数据记录到文件并旋转它们,即

/tmp/scribetest/category/category_0000
/tmp/scribetest/category/category_...
/tmp/scribetest/category/category_current -> /tmp/scribetest/category/category_0000

我的问题是如何从 scribe 文件中读取数据并将其转储到数据库中?我可以想到几种可能的方法: 1. 将 category_* 文件(除了 category_current 之外)复制到另一个文件夹说

/tmp/dump/category/category_0000
/tmp/dump/category/category_...

然后,逐行读取所有文件并将其插入数据库 2。有一个持续运行的脚本,该脚本在 category_current 的 tail -f 中接受输入和管道我没有尝试过这种方法,但我想知道当 category_current 更改并指向时会发生什么新文件。tail -f 是否仍能接收新行?

基本上,我不确定收集数据并记住我从 scribe 日志文件收集的最后数据的最佳方法是什么。

4

0 回答 0