0

我一直在使用以下 MySQL 命令从日志数据构建热图。但是，我有一个存储在 Mongo 数据库中的新数据集，我需要运行相同的命令。 

 select concat(a.packages '&' b.packages) "Concurrent Packages",
 count(*) "Count"
 from data a
 cross join data b
 where a.packages<b.packages and a.jobID=b.jobID
 group by a.packages, b.packages
 order by a.packages, b.packages;

请记住，表 a 和 b 在查询之前不存在。但是，它们是从数据表的 packages 列创建的，其中 jobID 作为我要检查匹配的字段。换句话说，如果两个包在同一个作业中，我想在并发使用计数中添加一个条目。如何在 Mongo 中生成类似的查询？

4

2 回答 2

2

这不是不同文件的“加入”；它是一个文档中的操作，可以在 MongoDB 中完成。

You have a SQL TABLE "data" like this:
  JobID   TEXT,
  package TEXT

将其存储在 MongoDB 中的最佳方式是一个名为“data”的集合，每个 JobID 包含一个文档，其中包含一组包：

{
    _id: <JobID>,
    packages: [
        "packageA",
        "packageB",
        ....
    ]
}

[注意：您还可以将数据表实现为 MongoDB 中的一个文档，其中包含一组作业，每个作业包含一组包。不建议这样做，因为您可能会达到 16MB 的文档大小限制，并且嵌套数组（尚未）被不同的查询很好地支持 - 如果您还想将数据用于其他目的]

现在，如何得到这样的结果？

{ pair: [ "packageA", "packageB" ], count: 20 },
{ pair: [ "packageA", "packageC" ], count: 11 },
...

由于 MongoDB 中没有两个数组的内置“交叉连接”，因此您必须在 mapReduce() 的 map 函数中对其进行编程，将每对包作为键发出：

mapf = function () {
    that = this;
    this.packages.forEach( function( p1 ) {
        that.packages.forEach( function( p2 ) {
            if ( p1 < p2 ) {
                key = { "pair": [ p1, p2 ] };
                emit( key, 1 );
            };
        });
    });
};

[注意：这可以优化，如果包数组被排序]

reduce 函数只不过是对每个键的计数器求和：

reducef = function( key, values ) {
    count = 0;
    values.forEach( function( value ) { count += value } );
    return count;
};

因此，对于这个示例集合：

> db.data.find()
{ "_id" : "Job01", "packages" : [ "pA", "pB", "pC" ] }
{ "_id" : "Job02", "packages" : [ "pA", "pC" ] }
{ "_id" : "Job03", "packages" : [ "pA", "pB", "pD", "pE" ] }

we get the following result:

> db.data.mapReduce(
...     mapf,
...     reducef,
...     { out: 'pairs' }
... );
{
    "result" : "pairs",
    "timeMillis" : 443,
    "counts" : {
        "input" : 3,
        "emit" : 10,
        "reduce" : 2,
        "output" : 8
    },
    "ok" : 1,
}
> db.pairs.find()
{ "_id" : { "pair" : [ "pA", "pB" ] }, "value" : 2 }
{ "_id" : { "pair" : [ "pA", "pC" ] }, "value" : 2 }
{ "_id" : { "pair" : [ "pA", "pD" ] }, "value" : 1 }
{ "_id" : { "pair" : [ "pA", "pE" ] }, "value" : 1 }
{ "_id" : { "pair" : [ "pB", "pC" ] }, "value" : 1 }
{ "_id" : { "pair" : [ "pB", "pD" ] }, "value" : 1 }
{ "_id" : { "pair" : [ "pB", "pE" ] }, "value" : 1 }
{ "_id" : { "pair" : [ "pD", "pE" ] }, "value" : 1 }

有关 mapReduce 的更多信息，请参阅：http ://docs.mongodb.org/manual/reference/method/db.collection.mapReduce/和http://docs.mongodb.org/manual/applications/map-reduce/

于 2013-04-02T01:52:34.190 回答
1

你不能。Mongo 不做连接。从 SQL 切换到 Mongo 比迁移查询要复杂得多。

通常，您会将所有相关信息包含在同一记录中（而不是规范化信息并通过连接选择它）。非规范化！

于 2013-03-08T02:15:47.817 回答