我正在寻找将 IIS 6.0 访问日志(5 台服务器,每天超过 400MB)插入 SQL 数据库。让我害怕的是尺寸。您正在复制很多信息(即站点名称、url、引用者、浏览器),并且可以通过索引和查找表进行规范化。
我寻找自己的数据库而不是使用其他工具的原因是 5 台服务器,我需要非常自定义的统计数据和每个、很少或全部的报告。安装任何(特别是开源)软件也是大屠杀(需要有 125% 的功能并且需要几个月的时间)。
我想知道最有效的方法是什么?有人看过关于它的例子或文章吗?
我正在寻找将 IIS 6.0 访问日志(5 台服务器,每天超过 400MB)插入 SQL 数据库。让我害怕的是尺寸。您正在复制很多信息(即站点名称、url、引用者、浏览器),并且可以通过索引和查找表进行规范化。
我寻找自己的数据库而不是使用其他工具的原因是 5 台服务器,我需要非常自定义的统计数据和每个、很少或全部的报告。安装任何(特别是开源)软件也是大屠杀(需要有 125% 的功能并且需要几个月的时间)。
我想知道最有效的方法是什么?有人看过关于它的例子或文章吗?
Whilst I would suggest buying a decent log parsing tool if you insist on going it alone, take a look at Log Parser
to help you do some of the heavy listing, either into SQL or maybe it can get the results you are after directly.
一方面,您将通过使用人工密钥来存储服务器 IP 地址、用户代理和引用者等内容,从而大大减少值的磁盘空间。您节省的一些空间将丢失到索引中,但是每天 400 MB 的总体磁盘节省乘以 5 个服务器应该仍然是可观的。
当然,权衡是需要使用连接将这些信息重新组合在一起以进行报告。
我的挑剔是用人工键替换一列的值到两列查找表不应该被称为“规范化”。您可以在不识别任何功能依赖项的情况下执行此操作。(我不确定你是否打算这样做,但听起来是这样。)
您在原始数据中每月查看大约 12 个演出,对吗?您是否考虑过从数据仓库的角度来处理它?(而不是 OLTP 的观点。)