mysql - 应用程序如何收集统计信息？

Question

我需要从用 python 编写的服务器应用程序收集统计信息。我正在寻找一些关于如何设置模型以及如何存储统计信息的一般指导。我正在考虑在数据库中存储和组织所有这些信息，但我的实现变得过于具体。

我需要随着时间的推移收集活跃用户、处理的请求等统计数据。

是否有任何指南或技术可以创建一些更通用的统计存储系统？

Answer 1

像大多数软件解决方案一样，我可以推荐没有一种解决方案可以解决您的问题。但是我已经创建了一些类似的程序，这里有一些我发现效果很好的东西。

• 创建一个异步日志服务，以便日志不会对代码的性能产生不利影响。（您需要注意存储数据的位置、处理数据的位置等，因为如果不小心，仍然会显着降低性能。）我发现创建 Web 服务通常很方便。
• 尝试并尽可能多地保存有关请求的信息。将来，这将使添加新查询和报告变得更加容易。
  • 规范化您的数据
  • 始终包括执行操作的时间。如果您可以捕获它通常也有用的运行时间。

Answer 2

一种方法是分阶段进行：将活动日志（包括请求和用户）存储为文本文件。稍后，将日志挖掘成数据点（python 应该能够轻松做到这一点）。您可能希望将python 的日志库用于日志记录阶段。一般来说，从高时间分辨率的日志记录开始，您可以稍后将其汇总为每小时、每天、每周摘要等。