15

出于性能原因，我有一个非规范化数据库，其中一些表包含从其他表中的许多行聚合而来的数据。我想通过使用SQLAlchemy events来维护这个非规范化的数据缓存。例如，假设我正在编写论坛软件，并希望每个软件Thread都有一个列来跟踪线程中所有评论的组合字数，以便有效地显示该信息：

class Thread(Base):
    id = Column(UUID, primary_key=True, default=uuid.uuid4)
    title = Column(UnicodeText(), nullable=False)
    word_count = Column(Integer, nullable=False, default=0)

class Comment(Base):
    id = Column(UUID, primary_key=True, default=uuid.uuid4)
    thread_id = Column(UUID, ForeignKey('thread.id', ondelete='CASCADE'), nullable=False)
    thread = relationship('Thread', backref='comments')
    message = Column(UnicodeText(), nullable=False)
    
    @property
    def word_count(self):
        return len(self.message.split())

所以每次插入评论时（为了简单起见，我们假设评论永远不会被编辑或删除），我们想要更新word_count关联Thread对象的属性。所以我想做类似的事情

def after_insert(mapper, connection, target):
    thread = target.thread
    thread.word_count = sum(c.word_count for c in thread.comments)
    print("updated cached word count to", thread.word_count)

event.listen(Comment, "after_insert", after_insert)

因此，当我插入 a 时Comment，我可以看到事件触发并看到它已正确计算字数，但该更改并未保存到Thread数据库中的行中。我在after_insert 文档中没有看到有关更新其他表的任何警告，尽管我确实在其他一些表格中看到了一些警告，例如after_delete。

那么有没有支持的方式来使用 SQLAlchemy 事件呢？我已经将 SQLAlchemy 事件用于许多其他事情，所以我想以这种方式做所有事情，而不必编写数据库触发器。

4

2 回答 2

49

after_insert() 事件是执行此操作的一种方法，您可能会注意到它传递了一个 SQLAlchemyConnection对象，而不是Session其他刷新相关事件的情况。映射器级别的刷新事件通常用于在给定的情况下直接调用 SQL Connection：

@event.listens_for(Comment, "after_insert")
def after_insert(mapper, connection, target):
    thread_table = Thread.__table__
    thread = target.thread
    connection.execute(
            thread_table.update().
             where(thread_table.c.id==thread.id).
             values(word_count=sum(c.word_count for c in thread.comments))
    )
    print "updated cached word count to", thread.word_count

这里值得注意的是，直接调用 UPDATE 语句也比在整个工作单元过程中再次运行该属性更改的性能要高得多。

然而，这里并不真正需要像 after_insert() 这样的事件，因为我们甚至在刷新发生之前就知道“word_count”的值。我们实际上知道它是因为 Comment 和 Thread 对象是相互关联的，我们也可以使用属性事件在内存中始终保持 Thread.word_count 完全新鲜：

def _word_count(msg):
    return len(msg.split())

@event.listens_for(Comment.message, "set")
def set(target, value, oldvalue, initiator):
    if target.thread is not None:
        target.thread.word_count += (_word_count(value) - _word_count(oldvalue))

@event.listens_for(Comment.thread, "set")
def set(target, value, oldvalue, initiator):
    # the new Thread, if any
    if value is not None:
        value.word_count += _word_count(target.message)

    # the old Thread, if any
    if oldvalue is not None:
        oldvalue.word_count -= _word_count(target.message)

这种方法的最大优点是也不需要遍历 thread.comments，这对于未加载的集合意味着发出另一个 SELECT。

还有一种方法是在 before_flush() 中进行。下面是一个快速而肮脏的版本，可以对其进行细化以更仔细地分析发生了什么变化，以确定是否需要更新 word_count：

@event.listens_for(Session, "before_flush")
def before_flush(session, flush_context, instances):
    for obj in session.new | session.dirty:
        if isinstance(obj, Thread):
            obj.word_count = sum(c.word_count for c in obj.comments)
        elif isinstance(obj, Comment):
            obj.thread.word_count = sum(c.word_count for c in obj.comments)

我会使用属性事件方法，因为它是性能最高且最新的。

于 2012-12-07T15:15:38.673 回答
5

您可以使用 SQLAlchemy-Utilsaggregated列执行此操作：http: //sqlalchemy-utils.readthedocs.org/en/latest/aggregates.html

于 2015-01-08T02:20:29.997 回答