postgresql - PostgreSQL 和 S3QL 用于存储/访问大量数据

Question

我们目前在 Amazon 的 EC2 上使用 Postgres 9，对性能非常满意。现在我们正在考虑向 Postgres 添加约 2TB 的数据，这比我们的 EC2 小型实例可以容纳的要大。

我找到了 S3QL，并正在考虑将它与将 Postgres 数据目录移动到 S3 存储一起使用。有没有人有这样做的经验？我主要关心性能（频繁读取，写入频率较低）。欢迎任何建议，谢谢。

Answer 1

我的建议是“不要那样做”。我对您的问题的上下文一无所知，但我想解决方案不必涉及通过 PostgreSQL 进行批量数据处理。发明网格处理系统的全部原因是为了解决分析大型数据集的问题。我认为您应该考虑构建一个遵循标准 BI 实践的系统，以提取维度数据。然后获取标准化数据，假设它仍然很大，将其加载到 Hadoop/Pig 中。在那里进行分析和汇总。将生成的聚合数据转储到一个文件中，并将其与维度一起加载到您的 PG 数据库中。