2

如何提高以下代码的性能？

BANNED_DOORBOTS = {...}

async def execute_query(self, query):
    async with self.pool.acquire() as conn:
        async with conn.cursor() as cur:
            await cur.execute(query)
            records = []
            async for row in cur:
                if row[0] not in BANNED_DOORBOTS:
                    records.append({
                        'key1': row[0],
                        'key2': row[1]
                    })

    return records

我不想每次都检查if row[0] not in BANNED_DOORBOTS。如何避免这种情况？

通常，我在records. 也许我可以预先分配一些空间以避免重新分配？

4

1 回答 1

5

您每次都从数据库查询中重建一个列表。

我会要求数据库不返回被禁止的记录：

from psycopg2 import sql  # safe SQL composing

# Add a NOT IN clause to filter out banned doorbots, generating a
# separate parameter placeholder per value
query = sql.SQL(query) + sql.SQL(' WHERE ding_id NOT IN ({})').format(
    sql.SQL(', ').join([sql.Placeholder()] * len(BANNED_DOORBOTS)))
await cur.execute(query, BANNED_DOORBOTS)

我在这里使用该psycopg.sql框架进行合成，但您也可以使用字符串格式（'%s'用于占位符）。

考虑将BANNED_DOORBOTS集合放在数据库中的表中，以便您可以使用WHERE ding_id NOT IN (SELECT id from BANNED_DOORBOTS WHERE id IS NOT NULL)子查询。这样您仍然可以获得更好的性能（数据库可以为此优化），并且您不必生成占位符。

接下来，使用列表推导来构建列表。这更快，因为它避免了重复list.append查找和方法调用。将您的列名定义为一个元组并将其与每一行一起压缩：

keys = ('ding_id', 'doorbot_id', 'created_at', 'address', 'latitude', 
        'longitude', 'ding_kind')
return [dict(zip(keys, row)) async for row in cur]

列表解析async for语法需要 Python 3.6 或更高版本。

该aiopg驱动程序允许您配置一个替代游标工厂，一个已经生成字典的游标工厂，它可能会更快。然后，您根本不必使用任何列表推导：

from psycopg2.extras import RealDictCursor

# configure cursor to yield dictionaries rather than tuples
async with conn.cursor(cursor_factory=RealDictCursor) as cur:
    await cur.execute(query, BANNED_DOORBOTS)
    # directly return the cursor; have the caller do the async iteration
    return cur

如果您不想让调用者负责循环，但必须生成一个列表，请使用该cursor.fetchall()方法来生成该列表；每个元素都是一个字典：

# configure cursor to yield dictionaries rather than tuples
async with conn.cursor(cursor_factory=RealDictCursor) as cur:
    await cur.execute(query, BANNED_DOORBOTS)
    return await cur.fetchall()
于 2017-05-18T09:07:33.393 回答