1

我想知道究竟发生了什么，因为 php 脚本将查询运行到数据库返回数据并且 php 脚本开始获取它们的那一刻。

理论上，我有一个带有巨大表的 Postgre 数据库，谈论 20 多列的 10/20 百万条记录，并且我有一个 php 脚本，它请求将数据库中的所有行放入某个文件中。

我的知识是：

  • php 脚本使用 sql 查询运行 pg_query 命令
  • 通过 postgres php 驱动程序/扩展查询被传递到数据库
  • 数据库完成工作并将结果返回给驱动程序
  • php postgres 驱动程序将结果存储在服务器 RAM 内存中，并将资源 id 返回给引用结果的 php 脚本
  • pg_fetch_row 从 RAM 内存中读取记录

我正在尝试对执行上述工作的 php 代码进行最佳优化。

问题是：

  • 我的知识正确吗？如果缺少某些内容或我对某些步骤不正确，请纠正我。
  • 我怎么知道有多少 RAM 内存分配给数据库结果？如果我的服务器没有足够的内存，这可能很重要。
  • 我知道我可以获取单行，然后将其存储到文件中，只要有行就重复这两个步骤，这样我就可以最大限度地减少 php 脚本所需的内存，但是如何影响资源使用的内存呢？

提前致谢。

4

2 回答 2

2

PostgreSQL 确实（默认情况下）一次返回所有行。这样做的好处是可以释放服务器端的资源，但代价是客户端可能会出现较大的结果集。

另一种方法是使用一次可以返回一行的游标。一些驱动程序直接支持这一点（可能是PDO？）或者您可以使用DECLARE和FETCH

要注意的另一件事是 PostgreSQL 的COPY命令，它可以直接将表或查询转储到文件（假设您不需要太多处理/格式化）。检查您的数据库库是否提供直接访问。

于 2012-07-05T18:09:05.883 回答
1

PHP脚本在查询执行之后和之前分配的内存量之间的差异将为您提供DB结果分配的内存量。

$before = memory_get_usage();
$res = pg_query( $sql );
$after  = memory_get_usage();
$amount = $after - $before //This should be size of $res variable;
于 2012-07-05T17:16:48.547 回答