16

我需要使用在文件中收到的数据定期增加列中的值。该表有 > 400000 行。到目前为止，我所有的尝试都导致性能非常差。我写了一个实验来反映我的要求：

#create table
engine = create_engine('sqlite:///bulk_update.db', echo=False)
metadata = MetaData()

sometable = Table('sometable',  metadata,
    Column('id', Integer, Sequence('sometable_id_seq'), primary_key=True),
    Column('column1', Integer),
    Column('column2', Integer),
)

sometable.create(engine, checkfirst=True)

#initial population
conn = engine.connect()
nr_of_rows = 50000
insert_data = [ { 'column1': i, 'column2' : 0 } for i in range(1, nr_of_rows)]
result = conn.execute(sometable.insert(), insert_data)

#update
update_data = [ {'col1' : i, '_increment': randint(1, 500)} for i in range(1, nr_of_rows)]

print "nr_of_rows", nr_of_rows
print "start time   : " + str(datetime.time(datetime.now()))

stmt = sometable.update().\
        where(sometable.c.column1 == bindparam('col1')).\
        values({sometable.c.column2 : sometable.c.column2 +     bindparam('_increment')})

conn.execute(stmt, update_data)

print "end time : " + str(datetime.time(datetime.now()))

我得到的时间是：

nr_of_rows 10000
start time  : 10:29:01.753938
end time    : 10:29:16.247651

nr_of_rows 50000
start time  : 10:30:35.236852
end time    : 10:36:39.070423

因此，执行 400000+ 行将花费很长时间。

我是 sqlalchemy 的新手，但我确实阅读了很多文档，但我无法理解我做错了什么。

提前致谢！

4

1 回答 1

13

您通过使用单个查询进行批量更新来使用正确的方法。

之所以需要这么长时间是因为该表在sometable.column1. 它在 column 上只有主索引id。

您的更新查询sometable.column1在 where 子句中使用来识别记录。因此数据库必须扫描所有表记录以进行每一个列更新。

为了使更新运行得更快，您需要更新表架构定义代码，以将索引创建添加到 column1 定义, index=True：

sometable = Table('sometable',  metadata,
    Column('id', Integer, Sequence('sometable_id_seq'), primary_key=True),
    Column('column1', Integer, index=True),
    Column('column2', Integer),
)

我在我的机器上测试了更新的代码 - 程序运行时间不到 2 秒。

顺便说一句，对您的问题描述表示敬意-您放置了重现问题所需的所有代码。

于 2013-05-24T19:08:22.700 回答