2

我正在使用 Perl v5.12 和 MongoDB 包 v0.45。

我想运行一个 MapReduce 作业来创建一个新集合，然后我将创建一个游标供以后使用。我的另一个愿望是这项工作在副本上而不是在主服务器上运行。

根据 perl 文档中的定义，MapReduce 作业将使用该run_command方法执行。当我执行 perl 脚本时，我得到：

Mongo error: not master at perlib/Connections.pm line 63.

在阅读了 CPAN 上的 MongoDB 文档之后，似乎只有一种方法可以让游标从副本中读取。因此该方法不适用于对run_command().

这是我的代码：

sub get_data {
    my $self = shift;
    my $dbh = shift;
    my $collection_h = shift;   
    my $since_time = $self->get_date_time(shift);
    my $loop_limit = $self->get_data_limit(shift);

    my %data = ();
    my $ctr = 0;

    my $temp_collection='temp_collection';

    my $ids = $dbh->run_command([
         "mapreduce" => $collection_h->{'name'}
        ,"map" => _get_map()
        ,"reduce" => _get_reduce()
        ,"query"    =>  {'to.id' => {'$exists'=>'true'}, 'updatedDate' => { '$gte' => $since_time }}
        ,"out" => $temp_collection      
    ]);

    die ("Mongo error: $ids") unless ref($ids) eq 'HASH';

        # next we create a cursor to this new collection
    my $cfs_h = $dbh->$temp_collection;
    my $id_cursor = $cfs_h->find()->limit($loop_limit);

    $id_cursor->slave_okay(1);
    $id_cursor->immortal(1);
    ...
}

sub _get_map {
    return "function() {emit(this.to.id, 1);}"; 
}

sub _get_reduce {

    return "function(k,vals) {return 1;}"
}

有没有人遇到过尝试在副本上使用 MapReduce 的问题？你成功了吗？如果是这样，您能否分享一下您是如何做到的。

4

1 回答 1

2

在辅助节点上执行 Map/Reduce 操作时，必须内联返回结果。输出必须与“结果”对象一起返回，并且不能写入磁盘，因为无法写入辅助节点。当以这种方式输出结果时，结果集的限制为 16MB。在 Map Reduce 文档的“输出选项”部分的“{ inline : 1}”项目符号下有一个注释。 http://www.mongodb.org/display/DOCS/MapReduce#MapReduce-Outputoptions

于 2012-03-08T18:08:59.770 回答