1

我有一个 python 脚本女巫的问题，我用它来将大型集合聚合成更小的部分，并让它们按时间戳分组。

map = Code("function(number) {"
    "emit({"
        "ts : new Date(new Date((this.ts - (this.ts % (60 * number))) * 1000).setSeconds(0))"
   "}, 1);"
"}")

reduce = Code("function(key, vals) {"
    "var sum = 0;"
    "for (var i in vals) {"
        "sum += vals[i]"
    "}"
    "return sum;"
"}")

如您所见，这是一个非常简单的 MapReduce，时间戳 (ts) 应该按给定的分钟数分组。我在这里http://jsfiddle.net/QgMzK/1/测试了 Javascript ，它似乎工作正常。但是当我在 Python 中运行它时，所有时间戳都变为 ISODate("1970-01-01T00:00:00Z")。

有任何想法吗？

4

1 回答 1

3

你的 map 函数有一个参数：number，当被 map-reduce 调用时，它会被设置为 null 并且在强制之后（有些%是零）将使你的地图返回的日期ISODate("0NaN-NaN-NaNTNaN:NaN:NaNZ")。这在类型转换后变为datetime.datetime(1970, 1, 1, 0, 0).

删除参数，它应该可以工作。

编辑

要确认这一点，请尝试运行以下代码：

from pymongo import Connection
from bson.code import Code

db = Connection().mr_test
for i in xrange(10):
    db.things.insert({"x" : i})


map = Code("function(number) {"
    "emit({"
        "ts : number"
    "}, 1);"
"}")

reduce = Code("function(key, vals) {"
    "var sum = 0;"
    "for (var i in vals) {"
        "sum += vals[i]"
    "}"
    "return sum;"
"}")


result = db.things.map_reduce(map, reduce, "test_results")
for doc in result.find():
    print doc

我机器上的结果是：

{u'_id': {u'ts': None}, u'value': 10.0}

请注意，ts在None结果中，number执行映射函数时未设置原因。

编辑 2

AFAIK 传递参数的唯一方法map是使用scope可选参数 in map_reduce，但无论如何您都必须将其从地图签名中删除。

因此，通过将您的地图更改为：

map = Code("function() {"
    "emit({"
        "ts : new Date(new Date((this.ts - (this.ts % (60 * number))) * 1000).setSeconds(0))"
    "}, 1);"
"}")

并通过调用：

db.whatever.map_reduce(map, reduce, "collection_name", scope = {"number" : the_value_your_function_needs})

你可以得到你想要的结果。

于 2012-08-15T08:55:45.683 回答