最简单(也是最可扩展)的解决方案可能是将过滤条件转换为 MongoDB 查询,并在客户端进行聚合。
以你上面的例子为例,让我们分解它并构造一个 MongoDB 查询(我将使用PyMongo来展示它,但如果你愿意,你可以使用 Mongoengine 或其他 ODM 来做同样的事情):
WHERE col1=1 AND col2="foo" OR col3 > "2012-01-01 00:00:00" OR col3 < "2012-01-02 00:00:00" -- 条件
这是 PyMongofind()
方法的第一个参数。我们必须使用$or
运算符显式构建逻辑 AND/OR 树:
from bson.tz_util import utc
cursor = db.collection.find({'$or': [
{'col1': 1, 'col2': 'foo'},
{'col3': {'$gt': datetime(2012, 01, 01, tzinfo=utc)}},
{'col3': {'$lt': datetime(2012, 01, 02, tzinfo=utc)}},
]})
请注意,在与日期/时间字段进行比较时,MongoDB 不会将字符串转换为日期,因此我在这里使用 Pythondatetime
模块明确地这样做了。该datetime
模块中的类假定 0 作为未指定参数的默认值。
SELECT col1, col2 -- 结果列
我们可以使用字段选择来仅检索我们想要的字段:
from bson.tz_util import utc
cursor = db.collection.find({'$or': [
{'col1': 1, 'col2': 'foo'},
{'col3': {'$gt': datetime(2012, 01, 01, tzinfo=utc)}},
{'col3': {'$lt': datetime(2012, 01, 02, tzinfo=utc)}},
]}, fields=['col1', 'col2'])
GROUP BY col4, col5 -- 按语句分组
这不能使用标准的 MongoDB 查询有效地完成(尽管稍后我将展示如何使用新的聚合框架在服务器端完成这一切)。相反,知道我们想按这些列进行分组,我们可以通过按这些字段排序来简化应用程序代码:
from bson.tz_util import utc
from pymongo import ASCENDING
cursor = db.collection.find({'$or': [
{'col1': 1, 'col2': 'foo'},
{'col3': {'$gt': datetime(2012, 01, 01, tzinfo=utc)}},
{'col3': {'$lt': datetime(2012, 01, 02, tzinfo=utc)}},
]}, fields=['col1', 'col2', 'col4', 'col5'])
cursor.sort([('col4', ASCENDING), ('col5', ASCENDING)])
ORDER BY col1 DESC, col2 ASC -- 按语句排序
这应该在应用您想要的聚合函数后在您的应用程序代码中完成(假设我们想要对 col4 求和,并取 col5 的最大值):
from bson.tz_util import utc
from pymongo import ASCENDING
cursor = db.collection.find({'$or': [
{'col1': 1, 'col2': 'foo'},
{'col3': {'$gt': datetime(2012, 01, 01, tzinfo=utc)}},
{'col3': {'$lt': datetime(2012, 01, 02, tzinfo=utc)}},
]}, fields=['col1', 'col2', 'col4', 'col5'])
cursor.sort([('col4', ASCENDING), ('col5', ASCENDING)])
# groupby REQUIRES that the iterable be sorted to work
# correctly; we've asked Mongo to do this, so we don't
# need to do so explicitly here.
from itertools import groupby
groups = groupby(cursor, keyfunc=lambda doc: (doc['col1'], doc['col2'])
out = []
for (col1, col2), docs in groups:
col4sum = 0
col5max = float('-inf')
for doc in docs:
col4sum += doc['col4']
col5max = max(col5max, doc['col5'])
out.append({
'col1': col1,
'col2': col2,
'col4sum': col4sum,
'col5max': col5max
})
使用聚合框架
如果您使用的是 MongoDB 2.1 或更高版本(2.1.x 是导致即将发布的 2.2.0 稳定版本的开发系列),您可以使用聚合框架在服务器端完成所有这些工作。为此,请使用以下aggregate
命令:
from bson.son import SON
from pymongo import ASCENDING, DESCENDING
group_key = SON([('col4', '$col4'), ('col5': '$col5')])
sort_key = SON([('$col1', DESCENDING), ('$col2', ASCENDING)])
db.command('aggregate', 'collection_name', pipeline=[
# this is like the WHERE clause
{'$match': {'$or': [
{'col1': 1, 'col2': 'foo'},
{'col3': {'$gt': datetime(2012, 01, 01, tzinfo=utc)}},
{'col3': {'$lt': datetime(2012, 01, 02, tzinfo=utc)}},
]}},
# SELECT sum(col4), max(col5) ... GROUP BY col4, col5
{'$group': {
'_id': group_key,
'col4sum': {'$sum': '$col4'},
'col5max': {'$max': '$col5'}}},
# ORDER BY col1 DESC, col2 ASC
{'$sort': sort_key}
])
该aggregate
命令返回一个 BSON 文档(即 Python 字典),它受到 MongoDB 的通常限制:如果要返回的文档大小大于 16MB,它将失败。此外,对于内存中的排序(如$sort
在此聚合结束时所要求的那样),如果排序需要服务器上 10% 以上的物理 RAM,则聚合框架将失败(这是为了防止代价高昂的聚合被逐出Mongo 用于数据文件的所有内存)。