如何在 Google App Engine (Python) 上执行此操作:
SELECT COUNT(DISTINCT user) FROM event WHERE event_type = "PAGEVIEW"
AND t >= start_time AND t <= end_time
长版:
我有一个 Python Google App Engine 应用程序,其中包含生成事件(例如页面浏览量)的用户。我想知道在给定的时间跨度内有多少唯一用户生成了浏览量事件。我最感兴趣的时间跨度是一个星期,在给定的一周内大约有 100 万个这样的事件。我想在 cron 作业中运行它。
我的事件实体如下所示:
class Event(db.Model):
t = db.DateTimeProperty(auto_now_add=True)
user = db.StringProperty(required=True)
event_type = db.StringProperty(required=True)
使用 SQL 数据库,我会做类似的事情
SELECT COUNT(DISTINCT user) FROM event WHERE event_type = "PAGEVIEW"
AND t >= start_time AND t <= end_time
发生的第一个想法是获取所有 PAGEVIEW 事件并过滤掉重复的用户。就像是:
query = Event.all()
query.filter("t >=", start_time)
query.filter("t <=", end_time)
usernames = []
for event in query:
usernames.append(event.user)
answer = len(set(usernames))
但这不起作用,因为它最多只能支持 1000 个事件。接下来发生在我身上的事情是获得 1000 个事件,然后当这些事件用完时获得下一个 1000 个,依此类推。但这也行不通,因为通过一千个查询并检索一百万个实体将花费 30 多秒,这是请求时间限制。
然后我想我应该按用户订购以更快地跳过重复项。但这是不允许的,因为我已经在使用不等式“t >= start_time AND t <= end_time”。
显然这不能在 30 秒内完成,因此需要分段。但是寻找不同的项目似乎并没有很好地分解成子任务。我能想到的最好的方法是在每个 cron 作业调用中查找 1000 个页面浏览事件,然后从中获取不同的用户名,并将它们放在像 Chard 这样的实体中。它可能看起来像
class Chard(db.Model):
usernames = db.StringListProperty(required=True)
因此,每个 chard 中最多有 1000 个用户名,如果有重复项被删除,则更少。大约 16 小时后(这很好),我将拥有所有的甜菜,并且可以执行以下操作:
chards = Chard.all()
all_usernames = set()
for chard in chards:
all_usernames = all_usernames.union(chard.usernames)
answer = len(all_usernames)
看起来它可能会起作用,但不是一个漂亮的解决方案。如果有足够多的唯一用户,这个循环可能会花费很长时间。我没有对其进行测试,希望有人能提出更好的建议,所以如果这个循环足够快的话,就不会了。
我的问题有更漂亮的解决方案吗?
当然,所有这些独特的用户计数都可以通过 Google Analytics 轻松完成,但我正在构建一个应用程序特定指标的仪表板,并打算将其作为众多统计数据中的第一个。