我们在 SQL 表中有数百万条记录,我们对这些数据运行非常复杂的分析以生成报告。
随着表格的增长和额外记录的添加,计算时间也在增加,用户必须等待很长时间才能加载网页。
我们正在考虑使用像 AppFabric 这样的分布式缓存在应用程序加载时将数据加载到内存中,然后从内存中的数据运行我们的报告。这应该会稍微改善响应时间,因为现在数据在内存中而不是磁盘中。
在我们采取行动并实施之前,我想检查并了解其他人在做什么,以及在内存中加载数据、缓存等的一些最佳技术和实践是什么。当然,你不只是用 100 来加载整个表内存中的数百万条记录...??
我也在研究 OLAP / 数据仓库,这可能会给我们带来更好的性能而不是缓存。