0

因此,我目前正在开展一个项目,该项目涉及收集和存储一些巨大的数据集(就我习惯使用的数据而言)。数据本质上由元信息组成,然后是实际值(这些值随时间变化)。

元信息本身相对较大,但没什么大不了的,我可能会说它会在未来几年内增长到 10-50 百万行大小。这对我来说似乎是可以管理的,如果索引得当(并且数据很容易索引,边界非常明确),一个强大的 SQL Server 应该足以提供对这些数据的快速访问......

然而,趋势数据是完全不同的故事。一年之内,我们很容易每天都会增加 40-5000 万行,而在接下来的 3 或 4 年内,这实际上可能每年翻一番。

这种趋势数据也有非常明确的边界,可以将其分成更易于管理的大小块。我希望我可以设置某种分区机制,将这些数据分布在多个物理数据库节点上。数据基本上都包含在一个表中。我研究了 SQL Server 表分区,但找不到将数据分布在多个服务器上的方法。

我的问题是是否有一些“相对简单”的方式在多个物理节点上实现表分区。我也花了一些时间查看 Sql Server PDW,但很难在网上找到信息,我不想继续这样做,直到我确定没有简单的方法来使用构建的功能来实现这种解决方案进入 SQL Server。

任何建议将不胜感激...

4

1 回答 1

1

我不是这方面的专家,但我相信您可能正在寻找的是数据库“分片”。这里对分片的问题和好处进行了有趣的分析。

最终,“分片”设计的实施可能会非常昂贵,但如果您的数据在单个数据库中无法管理,那么这可能是一个很好的解决方案。

维基百科页面上还有少量信息,其中包括支持分片的软件列表(例如 Hibernate ORM)

于 2010-03-01T08:30:50.350 回答