1

我很难弄清楚为什么一个简单的 SELECT 查询在使用原始 SQL 的 sqlalchemy 中需要这么长时间（我得到 14600 行/秒，但是当没有 sqlalchemy 通过 psycopg2 运行相同的查询时，我得到了38421 行/秒）。

经过一番摸索，我意识到在 create_engine 调用中切换 sqlalchemy 的 use_native_unicode 参数实际上会产生巨大的差异。

此查询需要 0.5 秒来检索 7300 行：

from sqlalchemy import create_engine

engine = create_engine("postgresql+psycopg2://localhost...",
                       use_native_unicode=True)
r = engine.execute("SELECT * FROM logtable")
fetched_results = r.fetchall()

此查询需要 0.19 秒来检索相同的 7300 行：

engine = create_engine("postgresql+psycopg2://localhost...",
                       use_native_unicode=False)
r = engine.execute("SELECT * FROM logtable")
fetched_results = r.fetchall()

两个查询之间的唯一区别是 use_native_unicode。但是 sqlalchemy 自己的文档声明最好保持 use_native_unicode=True (http://docs.sqlalchemy.org/en/latest/dialects/postgresql.html)。

有谁知道为什么 use_native_unicode 会产生如此大的性能差异？关闭 use_native_unicode 的后果是什么？

4

2 回答 2

2

这个问题是您需要根据您要处理的非 ASCII 数据量来决定的。psycopg2 解码 unicode 的方法比 SQLAlchemy 的方法更快，假设 SQLA 的 C 扩展未在使用中，但与不进行任何类型的 unicode 转换相比，仍然会增加结果集的延迟。在上面的代码中，没有使用 SQLAlchemy 的 unicode 工具；这些仅在列映射到 Unicode 或 String 类型时使用，仅当您使用 text()、select() 或 ORM 级别的等效项时才会发生这种情况，其中 Unicode 类型映射到这些结果集列使用表元数据 text() 的“typemap”参数。

Psycopg2 的本机 unicode 工具 OTOH 在光标级别生效，因此始终有效，并且显然总体上增加了一些延迟。

下面是一系列说明不同方法如何工作的插图。最后一个是与 SQLAlchemy 最相似的，虽然当使用 SQLAlchemy 的 C 扩展时，我们可能只是 psycopg2 的快：

import psycopg2
from psycopg2 import extensions

conn = psycopg2.connect(user='scott', password='tiger', host='localhost', database='test')

cursor = conn.cursor()
cursor.execute("""
create table data (
    id SERIAL primary key,
    data varchar(500)
)
""")

cursor.executemany("insert into data (data) values (%(data)s)", [
        {"data":"abcdefghij" * 50} for i in xrange(10000)
    ])
cursor.close()


def one(conn):
    cursor = conn.cursor()
    cursor.execute("SELECT data FROM data")
    for row in cursor:
        row[0]

def two(conn):
    cursor = conn.cursor()
    extensions.register_type(extensions.UNICODE, cursor)
    cursor.execute("SELECT data FROM data")
    for row in cursor:
        row[0]

def three(conn):
    cursor = conn.cursor()
    cursor.execute("SELECT data FROM data")
    for row in cursor:
        row[0].decode('utf-8')

def four(conn):
    cursor = conn.cursor()
    def conv_unicode(value):
        return value.decode('utf-8')
    cursor.execute("SELECT data FROM data")
    for row in cursor:
        conv_unicode(row[0])

import timeit

print "no unicode:", timeit.timeit("one(conn)", "from __main__ import conn, one", number=100)

print "native unicode:", timeit.timeit("two(conn)", "from __main__ import conn, two", number=100)

print "in Python unicode:", timeit.timeit("three(conn)", "from __main__ import conn, three", number=100)

print "more like SQLA's unicode:", timeit.timeit("four(conn)", "from __main__ import conn, four", number=100)

我得到的时间：

no unicode: 2.10434007645
native unicode: 4.52875208855
in Python unicode: 4.77912807465
more like SQLA's unicode: 4.88325881958

所以这里有趣的是，如果我们使用 C 扩展，SQLA 的方法实际上可能是比 psycopg2 的本机方法更好的选择，如果事实上你没有大量使用 Unicode 类型和你的大部分字符串值只是纯 ASCII。

于 2012-11-20T21:47:20.380 回答
0

tl; 博士：最近在 psycopg2 的 unicode 处理方面有一些性能改进——试试 2.7 版本。

我注意到了和你一样的事情，并向@zzzeek 发送了一些时间。这是他在邮件列表中的回复。 https://groups.google.com/d/msg/sqlalchemy/TtIel3LTGMY/Ta5oDkNdCwAJ

但是，基本上归结为 sqlalchemy 中的 c-extension unicode 处理似乎比 psycopg2 更有效。我通知了 psycopg2 邮件列表并打开了一个问题并得到了很好的响应（https://github.com/psycopg/psycopg2/issues/473）。

于 2017-04-20T17:34:02.377 回答