mysql - 查询mySQL数据库的日志文件进行分析

Question

我们有 mySQL 数据库的日志文件，我们希望使用该日志文件进行分析（数据挖掘、机器学习等），我对此非常陌生。

你能指导我怎么做吗？

Answer 1

根据您的要求，有许多工具可能对您有用。

但是为什么要使用 MySQL 日志而不是直接使用数据库，或者当用户与界面交互时，您正在搜索的详细信息会转到数据库中的新“信息挖掘”表。这可能更强大

如果您想确定插入/查询的速率。您实际上可以设置 MySQL 将这些类型的事件记录到不同的文件中（因此一些工作已经完成，而不必挖掘所有事件的完整日志文件）。否则，您将需要使用 Grep 等工具。

最重要的是，您有一个名为 Lucerne（来自 apache）的系统，它将挖掘数据并搜索关键词。它们有各种不同的钩子用于进入 Java、C 和其他语言。它与谷歌拖网网页的方式非常相似。

否则，如果您打算在数据库“内”挖掘数据，那么日志显然不是您的最佳选择。

日志还将包含有关用户的大量信息。IP 地址可能更棘手，但您可以交叉引用运行查询的用户名和一般服务器日志来确定连接的 IP。