我需要同时废弃大约 40 个随机网页。这些页面因每个请求而异。我在 python 中使用 rpcs 来获取 url 并使用 BeautifulSoup 抓取数据。报废所有数据并显示在屏幕上大约需要 25 秒。
为了提高速度，我将数据存储在 appengine 数据存储中，这样每个数据只被抓取一次，并且可以从那里快速访问。
但是问题是->随着数据存储中数据大小的增加，从数据存储中获取数据需要很长时间（比抓取更多）。
我应该使用 memcache 还是转移到 mysql？mysql 比 gae-datastore 快吗？或者有没有其他更好的方法来尽快获取数据？