0

我做了mongorestore一个 gzipped mongodump

mongorestore -v --drop --gzip --db bigdata /Volumes/Lacie2TB/backup/mongo20170909/bigdata/

但它一直在继续。我离开了它,因为我想如果我现在“只是”关闭它,我的(重要)数据将被破坏。检查百分比:

2017-09-10T14:45:58.385+0200    [########################]  bigdata.logs.sets.log  851.8 GB/85.2 GB  (999.4%)
2017-09-10T14:46:01.382+0200    [########################]  bigdata.logs.sets.log  852.1 GB/85.2 GB  (999.7%)
2017-09-10T14:46:04.381+0200    [########################]  bigdata.logs.sets.log  852.4 GB/85.2 GB  (1000.0%)

而且还在继续!

请注意,其他集合已完成。只有这一项超过了 100%。我不明白。

这是mongo 3.2.7在 Mac OSX 上。

很明显是导入的数据量有问题,因为连磁盘空间都没有。

$ df -h
Filesystem      Size   Used  Avail Capacity   iused     ifree %iused Mounted on
/dev/disk3     477Gi  262Gi  214Gi    56%  68749708  56193210   55%   /

使用的磁盘空间量可能是正确的,因为压缩后的备份大约是 200GB。我不知道这是否会导致压缩后的WiredTiger数据库上的数据量相同。snappy

但是,日志不断显示插入:

2017-09-10T16:20:18.986+0200 I COMMAND  [conn9] command bigdata.logs.sets.log command: insert { insert: "logs.sets.log", documents: 20, writeConcern: { getLastError: 1, w: 1 }, ordered: false } ninserted:20 keyUpdates:0 writeConflicts:0 numYields:0 reslen:40 locks:{ Global: { acquireCount: { r: 19, w: 19 } }, Database: { acquireCount: { w: 19 } }, Collection: { acquireCount: { w: 19 } } } protocol:op_query 245ms
2017-09-10T16:20:19.930+0200 I COMMAND  [conn9] command bigdata.logs.sets.log command: insert { insert: "logs.sets.log", documents: 23, writeConcern: { getLastError: 1, w: 1 }, ordered: false } ninserted:23 keyUpdates:0 writeConflicts:0 numYields:0 reslen:40 locks:{ Global: { acquireCount: { r: 19, w: 19 } }, Database: { acquireCount: { w: 19 } }, Collection: { acquireCount: { w: 19 } } } protocol:op_query 190ms

更新

磁盘空间仍在消耗。这大约是 2 小时后,大约 30 GB 后:

$ df -h
Filesystem      Size   Used  Avail Capacity   iused     ifree %iused  Mounted on
/dev/disk3     477Gi  290Gi  186Gi    61%  76211558  48731360   61%   /

问题是:进度指示器中是否存在错误,或者是否存在某种循环不断插入相同的文档?

更新

它完成了。

2017-09-10T19:35:52.268+0200    [########################]  bigdata.logs.sets.log  1604.0 GB/85.2 GB  (1881.8%)
2017-09-10T19:35:52.268+0200    restoring indexes for collection bigdata.logs.sets.log from metadata
2017-09-10T20:16:51.882+0200    finished restoring bigdata.logs.sets.log (3573548 documents)
2017-09-10T20:16:51.882+0200    done

604.0 GB/85.2 GB (1881.8%)

有趣的。:)

4

1 回答 1

0

它看起来类似于这个错误:https ://jira.mongodb.org/browse/TOOLS-1579

似乎有一个向后移植到 3.5 和 3.4 的修复程序。该修复程序可能不会向后移植到 3.2。我认为这个问题可能与使用gzip和/或snappy压缩有关。

于 2017-09-10T14:54:01.883 回答