2

我有一张大表（2,000,000 行），我想将每条记录一次打印到屏幕上，而无需将整个表加载到内存中。

//pseudo code
var cmd = new NpgSQLCommand();
cmd.CommandText = "SELECT * FROM mytable;"
IReader reader = cmd.ExecuteReader(); //blocks until the entire set is returned

while(reader.Read()) //ideally each call to read loads more results from the db.
{
// print record name

}

因此，如上面的代码中所述，直到整个集合加载到内存中，ExecuteReader() 才会继续。如何更改此行为以便流式传输结果？

谢谢

ETA：虽然这看起来像是家庭作业，但事实并非如此。这只是描述涉及使用单个查询读取整个表但一次处理一行结果的问题的一种更简单的方法。

预计到达时间 x2：

来自 npgsql 警告：调用 ExecuteReader 和大型表时存在一个已知问题。目前Npgsql 的第 1 版在返回之前从表中获取所有数据。如果在这种情况下遇到性能不佳的情况，您可能需要使用服务器游标来分页浏览行。为此，您可以使用如下代码：

4

4 回答 4

4

Npgsql2 现在可以更好地处理大型结果集。它不会将所有数据加载到内存中。因此，您不再需要使用服务器端光标。

我希望它有所帮助。

Francisco Figueiredo Jr. Npgsql 首席开发人员

于 2010-01-08T02:48:22.167 回答
2

好的，看起来这是 npgsql 1.0 的一个已知问题：

解决方法是使用服务器游标：

using System;
using System.Data;
using Npgsql;

public static class NpgsqlUserManual
{
  public static void Main(String[] args)
  {
    NpgsqlConnection conn = new NpgsqlConnection("Server=127.0.0.1;Port=5432;User Id=joe;Password=secret;Database=joedata;");
    conn.Open();

    NpgsqlCommand command = new NpgsqlCommand("select version()", conn);
    String serverversion;

    try
    {
      serverversion = (String)command.ExecuteScalar();
      Console.WriteLine("PostgreSQL server version: {0}", serverversion);
    }


    finally
    {
      conn.Close();
    }
  }
}
于 2010-01-07T22:05:19.680 回答
0

最简单的方法是：

COPY ( select * from Table) TO STDOUT

检查副本的语法以查看如何以 .csv 或任何其他格式打印（如果需要）...

于 2013-02-16T12:23:18.740 回答
0

要使用列名和值打印出整个表，请使用以下代码：

using (var conn = new NpgsqlConnection("Host=IPADDRESS;Username=USER;Password=PASS;Database=DBNAME;"))
        {
            conn.Open();
            using (var cmd = new NpgsqlCommand())
            {
                cmd.Connection = conn;

                cmd.CommandText = "SELECT * FROM TABLE_NAME";

                StringBuilder str;
                int count;

                using (var reader = cmd.ExecuteReader())
                {
                    while (reader.Read())
                    {
                        str = new StringBuilder();
                        count = 0;

                        while (count < reader.FieldCount) {
                            str.Append(reader.GetName(count) + ": " + reader.GetValue(count));

                            if ((count + 1) < reader.FieldCount)
                            {
                                str.Append(", ");
                            }

                            count++;
                        }

                        Console.WriteLine(str.ToString());
                        Console.WriteLine("====================");
                    }
                }
            }
于 2016-02-10T03:41:03.077 回答