5

既然不推荐使用tablestreams ，那么使用 pqxx 将大量数据存入数据库是否有不同的方法？COPY

我目前正在使用准备好的语句，但每秒只能插入大约 4k 次，这不足以跟上我收到的数据。这是我的测试代码：

  conn.prepare("test_prepared", "INSERT INTO test VALUES ($1, $2, $3, $4, $5, $6)")
    ("real")                                                                    
    ("varchar", pqxx::prepare::treat_string)                                    
    ("varchar", pqxx::prepare::treat_string)                                    
    ("varchar", pqxx::prepare::treat_string)                                    
    ("varchar", pqxx::prepare::treat_string)                                    
    ("bytea")  

// ...     

for (int i=0; i < LOOPS; i++) { 
    pqxx::work txn2(conn);                                                      
    for (int j=0; j < ROWS_PER_SECOND; j++) {                                   
        // ...
        txn2.prepared("test_prepared")(ts)(field1)(field2)(field3)(field4)(conn.esc_raw(bin, 10000)).exec();
    }
    txn2.commit();
    usleep(1000000);  // sleep for a second
}

使用 Python API，我每秒可以使用COPY FROM.

  for i in range(ROWS_PER_SECOND):                                                            
    vals.append('%f\t%s\t%s\t%s\t%s\t%s' % (time.time(), util.random_text(50),  
      util.random_text(50), util.random_text(50), util.random_text(50),         
      util.random_text(10000)))                                                 
  f = StringIO('\n'.join(vals))                                                 
  cur.copy_from(f, 'test', \                                                    
      columns=('timestamp', 'field1', 'field2', 'field3', 'field4', 'bin'))     
  conn.commit()

所以 postgres 完全有能力处理这个用例。什么是 pqxx 等价物？

4

0 回答 0