3

我有下表：

class Feedback(Base):
  __tablename__ = 'feedbacks'
  __table_args__ = (UniqueConstraint('user_id', 'look_id'),)
  id = Column(Integer, primary_key=True)
  user_id = Column(Integer, ForeignKey('users.id'), nullable=False)
  look_id = Column(Integer, ForeignKey('looks.id'), nullable=False)

我目前在此表中插入了许多违反该 UniqueConstraint 的条目。

我正在使用以下代码：

  for comment in session.query(Comment).filter(Comment.type == Comment.TYPE_LOOK).yield_per(100):
    feedback = Feedback()
    feedback.user_id = User.get_or_create(comment.model_id).id
    feedback.look_id = comment.commentable_id
    session.add(feedback)
    try:        # Refer to T20
      session.flush()
    except IntegrityError,e:
      print "IntegrityError", e
      session.rollback()
  session.commit()

我收到以下错误：

IntegrityError (IntegrityError) duplicate key value violates unique constraint "feedbacks_user_id_look_id_key"
DETAIL:  Key (user_id, look_id)=(140, 263008) already exists.
 'INSERT INTO feedbacks (user_id, look_id, score) VALUES (%(user_id)s, %(look_id)s, %(score)s) RETURNING feedbacks.id' {'user_id': 140, 'score': 1, 'look_id': 263008}
IntegrityError (IntegrityError) duplicate key value violates unique constraint "feedbacks_user_id_look_id_key"
...
(there's about 24 of these integrity errors here)
...
DETAIL:  Key (user_id, look_id)=(173, 263008) already exists.
 'INSERT INTO feedbacks (user_id, look_id, score) VALUES (%(user_id)s, %(look_id)s, %(score)s) RETURNING feedbacks.id' {'user_id': 173, 'score': 1, 'look_id': 263008}
No handlers could be found for logger "sqlalchemy.pool.QueuePool"
Traceback (most recent call last):
  File "load.py", line 40, in <module>
    load_crawl_data_into_feedback()
  File "load.py", line 21, in load_crawl_data_into_feedback
    for comment in session.query(Comment).filter(Comment.type == Comment.TYPE_LOOK).yield_per(100):
  File "/Volumes/Data2/Dropbox/projects/Giordano/venv/lib/python2.7/site-packages/sqlalchemy/orm/query.py", line 2337, in instances
    fetch = cursor.fetchmany(self._yield_per)
  File "/Volumes/Data2/Dropbox/projects/Giordano/venv/lib/python2.7/site-packages/sqlalchemy/engine/base.py", line 3230, in fetchmany
    self.cursor, self.context)
  File "/Volumes/Data2/Dropbox/projects/Giordano/venv/lib/python2.7/site-packages/sqlalchemy/engine/base.py", line 3223, in fetchmany
    l = self.process_rows(self._fetchmany_impl(size))
  File "/Volumes/Data2/Dropbox/projects/Giordano/venv/lib/python2.7/site-packages/sqlalchemy/engine/base.py", line 3343, in _fetchmany_impl
    row = self._fetchone_impl()
  File "/Volumes/Data2/Dropbox/projects/Giordano/venv/lib/python2.7/site-packages/sqlalchemy/engine/base.py", line 3333, in _fetchone_impl
    self.__buffer_rows()
  File "/Volumes/Data2/Dropbox/projects/Giordano/venv/lib/python2.7/site-packages/sqlalchemy/engine/base.py", line 3326, in __buffer_rows
    self.__rowbuffer = collections.deque(self.cursor.fetchmany(size))
sqlalchemy.exc.ProgrammingError: (ProgrammingError) named cursor isn't valid anymore None None

在你得出关于这个错误是由 yield_per 引起的结论之前，我可以向你保证，yield_per 不是这里的罪魁祸首。

我尝试了没有唯一约束的相同代码，但根本没有遇到任何错误。

我相信完整性错误导致No handlers could be found for logger "sqlalchemy.pool.QueuePool"。

我假设每个完整性错误都会杀死队列池中的每个“线程”。

有人可以告诉我发生了什么吗？

如果此时我无法对数据做太多事情，您会建议我做什么？

4

2 回答 2

5

该错误仅来自 Pythonlogging模块；您的池类正在尝试记录一些调试消息，但您没有配置 SQLA 日志记录。 配置日志记录很容易，然后您可以看到它实际上想说什么。

我不太确定这里发生了什么，但是你多次回滚顶级事务肯定无济于事。回滚结束事务并使每个活动行对象无效。那肯定不会与yield_per.

如果您的数据库支持保存点或嵌套事务（即，是Postgres或 Oracle ... 还是最近的 MySQL？），请尝试为每次尝试启动嵌套事务：

for comment in session.query(Comment).filter(Comment.type == Comment.TYPE_LOOK).yield_per(100):
    try:
        with session.begin_nested():
            feedback = Feedback()
            feedback.user_id = User.get_or_create(comment.model_id).id
            feedback.look_id = comment.commentable_id
            session.add(feedback)
            session.flush()
    except IntegrityError, e:
        print "IntegrityError", e

session.commit()

with回滚错误并提交成功，因此失败flush不会对您的主要事务的其余部分造成严重破坏。

如果您没有后端支持，其他明智的选择是：

  • 使您的查询复杂化：对LEFT JOIN您的反馈表执行操作，以便您在应用程序内知道反馈行是否已经存在。

  • 如果您愿意(user_id, look_id)成为您的主键，我认为您可以使用session.merge(feedback). 这就像基于主键的插入或更新：如果 SQLA 可以找到具有相同 pk 的现有行，它将更新该行，否则它将在数据库中创建一个新行。SELECT不过，会冒着为每一个新行触发一个额外的风险。

于 2013-01-18T17:39:23.173 回答
4

“在你得出这个错误是由 yield_per 引起的结论之前，我可以向你保证，yield_per 不是这里的罪魁祸首。”

我不确定你为什么会认为 - yield_per() 在这里非常重要，这可以通过简单地尝试没有yield_per() 的相同测试来查看行为是否不同来快速预测。通过使用 yield_per()，一个 psycopg2 游标在循环继续时保持打开状态。但是随后您会通过session.rollback(). 这将确切地导致诸如“命名游标不再有效”之类的错误发生。事实上，存在命名游标的唯一原因是因为这就是您使用 psycopg2 进行服务器端游标的方式，这是 yield_per() 启用的一部分。

“我尝试了没有唯一约束的相同代码，但我根本没有遇到任何错误。”

这是因为没有约束，不会抛出异常，并且不会命中 rollback()。

于 2013-01-18T17:45:38.740 回答