4

如何在 Google App Engine (Python) 上执行此操作:

SELECT COUNT(DISTINCT user) FROM event WHERE event_type = "PAGEVIEW" 
AND t >= start_time AND t <= end_time

长版:

我有一个 Python Google App Engine 应用程序,其中包含生成事件(例如页面浏览量)的用户。我想知道在给定的时间跨度内有多少唯一用户生成了浏览量事件。我最感兴趣的时间跨度是一个星期,在给定的一周内大约有 100 万个这样的事件。我想在 cron 作业中运行它。

我的事件实体如下所示:

class Event(db.Model):
    t = db.DateTimeProperty(auto_now_add=True)
    user = db.StringProperty(required=True)
    event_type = db.StringProperty(required=True)

使用 SQL 数据库,我会做类似的事情

SELECT COUNT(DISTINCT user) FROM event WHERE event_type = "PAGEVIEW" 
AND t >= start_time AND t <= end_time

发生的第一个想法是获取所有 PAGEVIEW 事件并过滤掉重复的用户。就像是:

query = Event.all()
query.filter("t >=", start_time)
query.filter("t <=", end_time)
usernames = []
for event in query:
    usernames.append(event.user)
answer = len(set(usernames))

但这不起作用,因为它最多只能支持 1000 个事件。接下来发生在我身上的事情是获得 1000 个事件,然后当这些事件用完时获得下一个 1000 个,依此类推。但这也行不通,因为通过一千个查询并检索一百万个实体将花费 30 多秒,这是请求时间限制。

然后我想我应该按用户订购以更快地跳过重复项。但这是不允许的,因为我已经在使用不等式“t >= start_time AND t <= end_time”。

显然这不能在 30 秒内完成,因此需要分段。但是寻找不同的项目似乎并没有很好地分解成子任务。我能想到的最好的方法是在每个 cron 作业调用中查找 1000 个页面浏览事件,然后从中获取不同的用户名,并将它们放在像 Chard 这样的实体中。它可能看起来像

class Chard(db.Model):
    usernames = db.StringListProperty(required=True)

因此,每个 chard 中最多有 1000 个用户名,如果有重复项被删除,则更少。大约 16 小时后(这很好),我将拥有所有的甜菜,并且可以执行以下操作:

chards = Chard.all()
all_usernames = set()
for chard in chards:
    all_usernames = all_usernames.union(chard.usernames)
answer = len(all_usernames)

看起来它可能会起作用,但不是一个漂亮的解决方案。如果有足够多的唯一用户,这个循环可能会花费很长时间。我没有对其进行测试,希望有人能提出更好的建议,所以如果这个循环足够快的话,就不会了。

我的问题有更漂亮的解决方案吗?

当然,所有这些独特的用户计数都可以通过 Google Analytics 轻松完成,但我正在构建一个应用程序特定指标的仪表板,并打算将其作为众多统计数据中的第一个。

4

4 回答 4

4

从 SDK v1.7.4 开始,现在对 DISTINCT 函数提供实验性支持。

请参阅:https ://developers.google.com/appengine/docs/python/datastore/gqlreference

于 2012-12-14T12:21:27.287 回答
1

这是一个可能可行的解决方案。它在一定程度上依赖于使用 memcache,因此您的数据总是有可能以不可预测的方式被驱逐。买者自负。

您将拥有一个名为unique_visits_today或类似名称的内存缓存变量。每次用户有他们当天的第一次网页浏览时,您都将使用 .incr() 函数来增加该计数器。

通过查看附加到用户的last_activity_day字段来确定这是用户的第一次访问。当用户访问时,您查看该字段,如果是昨天,您将其更新为今天并增加您的内存缓存计数器。

每天午夜,一个 cron 作业将获取内存缓存计数器中的当前值并将其写入数据存储,同时将计数器设置为零。你会有这样的模型:

class UniqueVisitsRecord(db.Model):
    # be careful setting date correctly if processing at midnight
    activity_date = db.DateProperty()
    event_count = IntegerProperty()

然后,您可以简单、轻松、快速地获取与任何日期范围匹配的所有 UnqiueVisitsRecords,并将其event_count字段中的数字相加。

于 2010-01-29T15:01:02.377 回答
1

NDB 仍然不支持 DISTINCT。我编写了一个小型实用程序方法,以便能够在 GAE 中使用 distinct。

看这里。http://verysimplescripts.blogspot.jp/2013/01/getting-distinct-properties-with-ndb.html

于 2013-01-24T16:42:11.143 回答
0

Google App Engine 和更具体的GQL不支持DISTINCT功能。

但是您可以使用此博客和SO 问题set中描述的Python函数。

于 2010-01-29T14:33:34.177 回答