3

考虑一个允许用户评论歌曲的 GAE (python) 应用程序。预期用户数为 1,000,000+。预计歌曲数量为 5,000 首。

该应用程序必须能够：

  • 给出用户评论过的歌曲数量
  • 给出对歌曲发表评论的用户数

柜台管理必须是事务性的，以便它们始终反映基础数据。

似乎 GAE 应用程序必须始终计算这些类型的计数，因为在请求时查询它们效率低下。

我的数据模型

class Song(BaseModel):
    name = db.StringProperty()
    # Number of users commenting on the song
    user_count = db.IntegerProperty('user count', default=0, required=True)
    date_added = db.DateTimeProperty('date added', False, True)
    date_updated = db.DateTimeProperty('date updated', True, False)

class User(BaseModel):
    email = db.StringProperty()
    # Number of songs commented on by the user
    song_count = db.IntegerProperty('song count', default=0, required=True)
    date_added = db.DateTimeProperty('date added', False, True)
    date_updated = db.DateTimeProperty('date updated', True, False)

class SongUser(BaseModel):
    # Will be child of User
    song = db.ReferenceProperty(Song, required=True, collection_name='songs')
    comment = db.StringProperty('comment', required=True)
    date_added = db.DateTimeProperty('date added', False, True)
    date_updated = db.DateTimeProperty('date updated', True, False)

代码
这会以事务方式处理用户的歌曲计数，但不处理歌曲的用户计数。

s = Song(name='Hey Jude')
s.put()

u = User(email='me@example.com')
u.put()

def add_mapping(song_key, song_comment, user_key):
    u = User.get(user_key)

    su = SongUser(parent=u, song=song_key, song_comment=song_comment, user=u);
    u.song_count += 1

    u.put()
    su.put()

# Transactionally add mapping and increase user's song count
db.run_in_transaction(add_mapping, s.key(), 'Awesome', u.key())

# Increase song's user count (non-transactional)
s.user_count += 1
s.put()

问题是： 如何以事务方式管理这两个计数器？

根据我的理解，这是不可能的，因为 User、Song 和 SongUser 必须属于同一个实体组。他们不能在一个实体组中，因为这样我的所有数据都将在一个组中，并且不能由用户分发。

4

1 回答 1

1

您真的不必担心处理用户在交易中评论的歌曲数量，因为用户似乎不可能一次评论多于一首歌曲，对吧？

现在，肯定有很多用户可能同时评论同一首歌曲，因此您必须担心确保数据不会因竞争条件而无效。

但是，如果您在 Song 实体中保留对歌曲发表评论的用户数量，并使用事务锁定该实体，您将获得对该实体的非常高的争用，并且数据存储超时将使您的应用程序拥有很多问题。

这个问题的答案是Sharded Counters。

为了确保您可以创建新的 SongUser 实体并更新相关 Song 的分片计数器，您应该考虑让 SongUser 实体将相关 Song 作为父级。这会将它们放在同一个实体组中，您可以在同一个事务中创建 SongUser 并更新分片计数器。SongUser 与创建它的用户的关系可以保存在 ReferenceProperty 中。

关于您对两个更新（事务更新和用户更新）并非都成功的担忧，这总是有可能的，但鉴于任何一个更新都可能失败，您需要进行适当的异常处理以确保两者都成功。这是重要的一点：事务中更新不能保证成功。如果交易因任何原因无法完成，您可能会收到 TransactionfailedError 异常。

因此，如果您的事务在没有引发异常的情况下完成，请在事务中运行对 User 的更新。如果发生某些错误，这将使您自动重试对用户的更新。除非我不理解 User 实体上可能存在的争用，否则它最终不会成功的可能性非常小。如果这是一个不可接受的风险，那么我认为 AppEngine 没有为您解决这个问题的完美解决方案。

首先问问自己：如果有人评论的歌曲数量减少了一首，真的那么糟糕吗？这与更新银行账户余额或完成股票销售一样重要吗？

于 2010-02-11T14:39:59.593 回答