1

我在 Postgres 9.4 中编写了一个用户定义的函数来编码字符串：

CREATE OR REPLACE FUNCTION platform.encode_sig(sig text)   
RETURNS bigint AS $BODY$ 
  declare   sig_id bigint; 
begin
    lock table platform.sig2encodings in access exclusive mode;   
    execute 'select sig_id from platform.sig2encodings where sig = ''' || sig || '''' into sig_id;

    if sig_id is null   
    then
       raise notice 'I do not have encoding for %', sig;
       execute 'insert into platform.sig2encodings (sig) values (''' || sig || ''')';
       execute 'select sig_id from platform.sig2encodings where sig = ''' || sig || '''' into sig_id;   
    else
       raise notice 'I do have encoding for %', sig;   
    end if;

  return sig_id;

END; 
$BODY$   
LANGUAGE plpgsql VOLATILE   COST 100;

桌子：

CREATE TABLE platform.sig2encodings
(
  sig_id bigserial NOT NULL,
  sig text,
  CONSTRAINT sig2encodings_pkey PRIMARY KEY (sig_id ),
  CONSTRAINT sig2encodings_sig_key UNIQUE (sig )
)

pgadmin 或 psql 中的调用将数据插入到表中：

select * from platform.encode_sig('NM_Gateway_NL_Shutdown');

python 中的调用获取id，但不插入数据：

db="""dbname='XXX' user='XXX' password='XXX' host=XXX port=XXX"""

def encode_sig(sig):
   try:
      conn=psycopg2.connect(db)
   except:
      print "I am unable to connect to the database."
      exit()

   cur = conn.cursor()
   try:
      sql = "select * from platform.encode_sig('" + sig + "');"
      print sql
      cur.execute(sql)
   except:
      print "I can't retrieve sid"

   row = cur.fetchone()
   return row[0]

print str(encode_sig('NM_Gateway_UDS_CC'))

python脚本的输出：

$ ./events_insert.py 
616
617
618
619
620
621
$ ./events_insert.py 
622
623
624
625
626
627

postgres 中的表是空的。到底是怎么回事？

更新：

以下 perl 脚本有效（所有控制台输出（通知）和表中的行）：

#!/usr/bin/perl

use strict;
use warnings;

use Data::Dumper;
use DBI;

my $dbh = get_connection();
$dbh->do("SELECT platform.encode_sig('blah blah blah')");
$dbh->disconnect();

sub get_connection {
    return DBI->connect('dbi:Pg:dbname=XXX;host=XXX;port=XXX',
                        'XXX', 'XXX', { RaiseError => 1 });
}

数据库配置是非常标准的配置。这些行来自 postgresql.conf（因为它们已被注释掉，所以假定为默认值）：

#fsync = on                             # turns forced synchronization on or off
#synchronous_commit = on                # synchronization level;
                                        # off, local, remote_write, or on
#wal_sync_method = fsync                # the default is the first option
                                        # supported by the operating system:
                                        #   open_datasync
                                        #   fdatasync (default on Linux)
                                        #   fsync
                                        #   fsync_writethrough
                                        #   open_sync
#full_page_writes = on                  # recover from partial page writes
#wal_log_hints = off                    # also do full page writes of non-critical updates
                                        # (change requires restart)
#wal_buffers = -1                       # min 32kB, -1 sets based on shared_buffers
                                        # (change requires restart)
#wal_writer_delay = 200ms               # 1-10000 milliseconds

#commit_delay = 0                       # range 0-100000, in microseconds
#commit_siblings = 5                    # range 1-1000
4

2 回答 2

2

sig_id目前还不清楚，在您看到' 返回后，该表如何为空。唯一能想到的合理解释：

  • 您偶然检查了不同的表（在不同的模式或不同的数据库中）。
  • 您正在运行auto_commit = off并忘记了COMMIT您的交易。结果对之前的其他会话不可见COMMIT。

无论哪种方式，你的函数都是不必要的复杂，你不需要动态 SQL和EXECUTE. 由于您将未转义的文本参数连接到代码中，因此您很容易受到随机语法错误和SQL 注入的影响。
您还危险地接近参数名称和列名称之间的命名冲突。你用你的动态 SQL 放弃了最后一个子弹，但它仍然是一把上膛的脚枪。阅读手册中 PL/pgSQL 的变量替换一章并考虑唯一名称。 sigsig

最后，每行调用一个函数也是极其低效的。整个过程可以用这个单一的 SQL 语句代替：

LOCK TABLE platform.sig2encodings IN ACCESS EXCLUSIVE MODE;

WITH sel AS (
   SELECT e.sig_id, e.sig
       , (s.sig IS NULL) AS insert_new
   FROM   platform.encode_sig e
   LEFT   JOIN platform.sig2encodings s USING (sig)
   )
,    ins AS (
   INSERT INTO platform.sig2encodings (sig)
   SELECT sig FROM sel WHERE insert_new
   RETURNING sig_id, sig, true  -- value for insert_new
   )
SELECT * FROM sel WHERE NOT insert_new
UNION ALL
SELECT * FROM ins;

这会将所有内容插入sig到encode_sig尚未sig2encodings存在的内容中。它返回结果sig_id, sigand insert_new = true，附加到未插入的sig_id, sig和insert_new = false从中。encode_sig

如果您需要一个可安全用于并发使用的单行 INSERT-or-SELECT 函数：

或者您希望INSERT .. ON CONFLICT IGNORE它进入下一个版本以简化事情：

更新：已提交 9.5。/ devel 手册已经有说明。

于 2015-04-15T14:06:16.267 回答
0

经过长时间的尝试和错误，我们发现这是由于缺少连接的“提交”语句造成的。python（或者java + postgres驱动程序+ postgres的组合）在脚本退出时跳过了“commit”语句，导致数据库状态不一致（序列已更新，但表未更新）。所以解决方案是在python脚本中添加以下行：

  conn.commit()
于 2015-05-12T12:01:02.890 回答