我们已经运行了一些脚本,它们使用 LogParser 将 IIS 日志转储到 SQL Server 数据库中。
然后我们可以查询它以获取有关命中、使用等的简单统计信息。将其链接到错误日志数据库和性能计数器数据库以比较使用与错误等时也很好。
仅在一个系统上实现了这一点,在过去的 2-3 周内,我们已经拥有一个 5GB 的数据库,其中包含大约 1000 万条记录。
这使得对该数据库的任何查询都非常缓慢,如果我们继续按原样记录,无疑会导致存储问题。
任何人都可以建议我们可以用于这些数据的任何替代数据库,这些数据库对此类日志更有效吗?我对 Google 的 BigTable 或 Amazon 的 SimbleDB 的任何体验都特别感兴趣。
这些中的任何一个都适合报告查询吗?计数、分组依据、数据透视?