3

在这里寻找内幕消息。

我有一个大的 MD5 哈希列表，我想存储在数据存储中。该列表足够大，我必须使用多个实体来存储它。这意味着我必须将我的列表分解成更小的列表并单独存储它们。

为此，我有一个简单的模型，它可以存储和检索任意长的哈希列表：

class HashList(nbd.Model):
  MAX_LENGTH = 100

  zlist = ndb.BlobProperty()
  keyword = ndb.StringProperty()
  index = ndb.IntegerProperty()

  @classproperty
  def StoreList(cls, keyword, long_list):
    entities = []
    index = 0
    for i in range(0, len(long_list), cls.MAX_LENGTH):
      zlist = zlib.compress('\n'.join(long_list[i:i+cls.MAX_LENGTH]))
      entities.append(cls(keyword=keyword, index=index, zlist=zlist))
      index += 1
    ndb.put_multi(entities)

  @classproperty
  def GetList(cls, keyword):
    unpack = lambda e: zlib.decompress(e.zlist).split()
    q = cls.query(cls.keyword == keyword).order(cls.index)
    return list(itertools.chain(*q.map(unpack)))

假设我知道该列表有 1,000,000 个 MD5 哈希值。上面的代码将生成 10,000 个实体，每个实体的 zlist 属性的大小都小于 2k（基于我自己的简单测试）。

基本上，我想知道 MAX_LENGTH 的最佳值是多少。如果 MAX_LENGTH 变大，则实体大小会变大。我应该向每个实体推进 1MB（约 40,000 个 MD5 哈希）吗？100太小了吗？1000更好吗？

4

1 回答 1

0

你应该尽可能大 - 1Mb。我认为没有理由不这样做：这样可以最大限度地降低成本。

OTOH，由于您将 MD5 存储为 blob，也许您应该查看blobstore。

编辑：

正如@Guido 隐含地指出的那样，GAE 是一个分布式系统，因此多个写入可以并行发生，因此可能会更快。

于 2012-09-05T06:35:50.907 回答