mongodb - 如何从 mongodb 导出 3 亿条记录？

Question

我的 mongodb 中有 3 亿条记录，我想从中导出所有记录，但是

我只能导出大约 3000 万个数据并且没有错误消息！我不知道

无论是mongoexport的限制还是我的出口有问题。

有人有问题吗？任何帮助将不胜感激。我的出口如下：

/home/mongodb/bin/mongoexport -h 10.141.209.2 -p 27018 -d test -c microblogs --fields 'user_id,created_at,reposts_count,comments_count,source,text'  --skip 36176225    --type=csv -o  microblogs_36176225.csv

结果如下所示：

-rw-r--r-- 1 root root         60 Sep 29 21:39 microblogs_36176225.csv

Answer 1

我不相信有限制，但我会先尝试导出到 json，看看你是否有同样的问题。你可以尝试拼接出口，因为它在 3000 万左右时“失败”了

mongoexport --skip 0 --limit 30000000 -- sort{_id:1} --db microblogs
mongoexport --skip 30000000 --limit 30000000 -- sort{_id:1} --db microblogs
util you reach your 300 million

您选择的语言的循环可以轻松地为您解决这个问题，这样您就不必手动输入它。

希望这可以帮助。