1

问候！

我有一个 Google App Engine 设置，其中memcached键的前缀os.environ['CURRENT_VERSION_ID']是为了在部署时生成新的缓存，而不必手动刷新缓存。

这工作得很好，直到开发需要同时运行两个版本的应用程序。当然，这会导致缓存不一致。

我正在寻找有关如何为键添加前缀的建议。本质上，当部署任何版本时，都需要有一个跨版本变化的变量。（嗯，这不是很理想，因为缓存会完全耗尽。）

我在考虑以下几种可能性：

  • 创建一个RuntimeEnvironment存储最新缓存前缀的实体。缺点：即使被缓存，也会减慢每个请求。不能缓存在内存中，只能缓存在 memcached 中，因为其他版本的部署可能会改变它。

  • 使用每个实体的版本号。这会产生非常好的粒度，因为缓存可以为未修改的实体保持温暖。缺点是我们需要在模型更改时推送到所有版本，我想避免这种情况，以便在部署到生产之前测试模型更改。

  • 忘记键前缀。键的全局命名空间。编写脚本以在每次部署时刷新缓存。这实际上看起来和第一个想法一样好，如果不是更好的话：缓存在这两种情况下都被完全破坏了，而且这个避免了运行时实体的开销。

任何想法，不同的想法都非常感谢！

4

2 回答 2

1

os.environ['CURRENT_VERSION_ID'] 值将与您的两个版本不同，因此您将为每个版本（实时缓存和开发/测试缓存）设置单独的缓存。

所以，我假设您的问题是，当您“部署”一个版本时，您不希望使用来自开发/测试的缓存？（否则，像尼克和systempuntoout，我很困惑）。

实现此目的的一种方法是使用缓存中的域/主机标头 - 因为这对于您的开发/实时版本是不同的。您可以通过执行以下操作来提取主机：

scheme, netloc, path, query, fragment = urlparse.urlsplit(self.request.url)

# Discard any port number from the hostname
domain = netloc.split(':', 1)[0]

这不会给出特别好的键，但它可能会做你想要的（假设我理解正确）。

于 2011-03-02T20:56:09.227 回答
0

我对这个问题的措辞有点困惑。

我最终选择了每个类的属性散列。以这个类为例：

class CachedModel(db.Model):

  @classmethod
  def cacheVersion(cls):
    if not hasattr(cls, '__cacheVersion'):
      props = cls.properties()
      prop_keys = sorted(props.keys())
      fn = lambda p: '%s:%s' % (p, str(props[p].model_class))
      string = ','.join(map(fn, prop_keys))
      cls.__cacheVersion = hashlib.md5(string).hexdigest()[0:10]
    return cls.__cacheVersion

  @classmethod
  def cacheKey(cls, key):
    return '%s-%s' % (cls.cacheVersion(), str(key))

这样，当实体使用它们的 保存到 memcached 时cacheKey(...)，它们将仅在实际类相同时共享缓存。

这还有一个额外的好处，即推送不修改模型的更新，使该模型的所有缓存条目保持不变。换句话说，推送更新不再充当刷新缓存。

这样做的缺点是每个 webapp 实例对类进行一次哈希处理。

2011 年 3 月 9 日更新：我改用一种更复杂但更准确的方式来获取版本。结果使用__dict__产生的错误结果，因为它的str表示包括指针地址。这种新方法只考虑数据存储属性。

2011-3-14 更新：所以 python 的 hash(...) 显然不能保证在解释器的运行之间是相等的。正在发生奇怪的情况，即不同的应用程序引擎实例看到不同的哈希值。现在使用 md5（比 sha1 比 sha256 快）。没有真正需要它是加密安全的。只需要一个好的hashfn。可能会改用更快的东西，但现在我宁愿没有错误。还确保对键进行排序，而不是对属性对象进行排序。

于 2011-03-03T06:23:56.883 回答