0

我正在尝试将数据从 csv 文件导入到 mongodb

具有以下数据的 CSV 文件

7259555112 774561213 3 4

7259555112 774561214 4 5

7259555112 774561215 1 3

7259555112 774561216 2 1

7259555112 774561217 4 2

7259555112 774561218 6 1

7975795117 7599702622 3 2

7975795117 7599702623 2 1

其中第一个数字是 MISDIN(cell_number),第二个数字是 MISDIN 第三个字段是第一个 MISDIN 从第二个获得多少传入第四个字段是从第一个到第二个有多少传出

我想将它导入到 mongodb,我需要收集模式,如下所示

7259555112(first_doucment 我想将第一个 Misdin 作为索引)

{

{MSISDN:774561213

传入计数:4

传出计数:3

总数:7

is_EE:1

},

{MSISDN:774561214

传入计数:3

传出计数:2

总数:5

is_EE:1

},

{MSISDN:774561215

传入计数:1

传出计数:2

总数:3

is_EE:0

}

}

7975795117(第二个文件)

{

{MSISDN:7599702622

传入计数:3

传出计数:2

总数:5

is_EE:1

},

{MSISDN:7599702623

传入计数:2

传出计数:1

总数:3

is_EE:1

},

请指导如何使用 mongoimport 或任何其他工具来实现这一点

谢谢

4

1 回答 1

6

如果我理解正确,您需要为第一列中的每个唯一 MISDIN 提供一个文档,每个文档在第二列中的每个 MISDIN 都有一个子文档,第一个 MISDIN 具有传入/传出呼叫。因此,对于您提供的数据,集合中的文档将如下所示:

{ _id: ObjectId("5237258211f41a0c647c47b1"),
  MISDIN_mine: 7259555112,
  call_records: [
  { MISDIN_theirs: 774561213,
    incoming_count: 3,
    outgoing_count: 4,
    total_count: 7,
    is_EE: 1
  }, 
  { MISDIN_theirs: 774561214,
    incoming_count: 4,
    outgoing_count: 5,
    total_count: 9,
    is_EE: 1
  } 
  ... ]
}

诚然,我不确定is_EE应该代表什么,但让我们把剩下的放在适当的位置。

为了以您想要的格式导入数据,首先在您的 CSV 文件中添加一个标题(顶部的一行),如下所示:

MISDIN_mine,MISDIN_theirs,incoming_count,outgoing_count
7259555112,774561213,3,4
7259555112,774561214,4,5
...

并按如下方式运行 mongoimport:

mongoimport --db yourdb --collection celldata --type csv --file path/to/file.csv --headerline

现在,如果您查看 celldata 集合,您会注意到文档实际上如下所示:

{ _id: ObjectId("5237258211f41a0c647c47b1"),
  MISDIN_mine: 7259555112,
  MISDIN_theirs: 774561213,
  incoming_count: 3,
  outgoing_count: 4
}

下一步是将总计数字段添加到子文档。(不过,老实说,如果您可以在 Excel 或类似程序中打开您的 csv 文件并在那里进行计算,为 total_count 添加另一列,这对您来说可能更容易。)否则,您可以使用光标。 forEach()

db.celldata.find().forEach(function(myDoc) { db.cell.update({_id:myDoc._id},{$set:{"total_count":myDoc.incoming_count+myDoc.outgoing_count}})});

现在,您的文档应如下所示:

{ _id: ObjectId("5237258211f41a0c647c47b1"),
  MISDIN_mine: 7259555112,
  MISDIN_theirs: 774561213,
  incoming_count: 3,
  outgoing_count: 4,
  total_count: 7
}

您现在可以添加 is_EE 字段。现在,开始将这些文档转换为子文档!我们将使用聚合,特别是group 命令,来

var reduce = function(curr, result) {
  result.call_records.push(
    { 
      MISDIN_theirs: curr.MISDIN_theirs,
      incoming_count: curr.incoming_count,
      outgoing_count: curr.outgoing_count,
      total_count: curr.total_count,
      is_EE: curr.is_EE          
    }); 
};

db.new_celldata.insert(db.celldata.group({key: {"MISDIN_mine": 1}, reduce: reduce, initial: {call_records:[]}}))

现在我们有了一个集合 new_celldata,其中的数据看起来像我们想要的那样!最后,最后一步是在 MISDIN_mine 上创建索引。

db.new_celldata.ensureIndex({MISDIN_mine: 1});

现在,您可以使用 new_celldata 集合来解决您正在处理的任何问题。:)

于 2013-09-16T18:52:03.530 回答