php - 管理大型数据集

Question

我正在开发一个基于 Web 的数据分析系统，并且想知道在管理大型数据集方面的最佳实践是什么。我将数据存放在 MySQL 数据库中并使用 php。

例如，如果我希望能够即时过滤数据表，我知道 2 个选项：

1. 查询数据库一次以获取所有数据并使用 javascript 在客户端过滤数据或
2. 每次过滤器更改时执行新查询以更新数据

在我看来，选项 1 是更好/更快的选项，但是当数据集变得非常大（即 >100k 行）时，这是一个坏主意

也许还有其他更好的方法来解决这个问题，但到目前为止我还不知道有任何建议，我们将不胜感激！

谢谢

Answer 1

最好的方法是仅根据您的需要查询数据库。

然后通过 ajax 加载并在需要时查询所需的其他部分。

在客户端渲染 100k 行将花费太多时间；）