mysql - 扩展 OLTP 解决方案

Question

我正在寻找一种方法来扩展我工作场所的基础设施。目前只有一个大小约为 1.5TB 的数据库。大多数查询都是 OLTP 类型，例如插入、更新、删除。

我正在考虑使用 CitusDB、PostgresXL 或 MySQL 结构等对数据库进行分片，但我不知道哪一个以及这对我们来说是否是一个好的解决方案。

这些是这类查询的好解决方案吗？

Answer 1

Citus 可以轻松处理约 1.5TB 的数据，还可以运行插入、更新、删除查询。

有关更多信息，您可以查看文档： http ://docs.citusdata.com/en/v5.2/performance/query_processing.html

Citus 中的数据摄取率：http: //docs.citusdata.com/en/v5.2/performance/scaling_data_ingestion.html

Answer 2

ClustrixDB 定期处理具有许多 TB 数据的高写入 OLTP 工作负载。它有一个无共享的架构，是 ACID，并且内置了容错功能，最近被 MariaDB 收购。

Answer 3

我看到无处不在的可扩展性过度工程，所以让我快速提出一个严肃的方法：

什么是自然分片键？通常是 customer_id。如果客户或多或少是孤立的（在他们使用您的系统时），这将正常工作。为每个客户创建一个数据库并自动更改架构。您是否拥有适用于所有客户的数据？设置另一个仅保存此数据的数据库实例。从每个应用程序服务器建立两个连接。

您（也）需要跨客户分析吗？运行夜间导出并离线处理。

可能并不适用于所有人，但根据我的经验，它适用于超过 90% 的业务应用程序。

哦..您选择的技术显然无关紧要，但我会选择开源/免费。

Answer 4

我们最近运行了一些基准测试来测量 Postgres-XL 的摄取率，我们可以轻松地使用 16 节点 XL 集群以高达 9M 行/秒或 3TB/小时的速度运行。有关更多详细信息，请参阅此博客文章blog.2ndquadrant.com/load-data-postgres-xl-9m-rows-sec/