问题标签 [mongoimport]

我有大约 20,000 个包含 JSON 数组的文件。我想将所有这些文件转储到本地托管的 MongoDB 中。我为此目的使用 mongoimport 。

有什么办法可以加快这个过程吗？

这 20,000 个文件包含大约 1200 万条记录。

试图使用 mongoexport 导出 oplog 的 csv ......尝试了我迄今为止读过的所有报价组合......

但我不断得到

有什么问题？

经过大量的努力后，我尝试了这个

这就像一个魅力。但这仍然是

不起作用。输出

感觉 Timestamp() 有问题？

所以，我遇到了从 SQL 到 Mongo 数据迁移的问题。我们使用 SQL 数据库并将其扁平化为单个数据数组，具有基本的数组结构，如下所示：

非常简单，非常直接。一旦我们以数组形式获得它，我们将它导入到我们的 mongo 实例中，如下所示。

再次，非常简单。非常直截了当。乍一看，似乎一切都按预期工作。但是，经过仔细检查，发现资产集合中所有记录的 MongoIds 都没有破折号！也就是说，所有的 mongo id 都采用以下格式：

而不是预期的格式：

除了依赖 MongoId 的查询之外，一切都可以找到。因此，例如，这将起作用：

但这不会：

我一直在翻阅文档和搜索，但没有找到任何东西。如果有人能指出我正确的方向并帮助导入此文件，使其具有正确的 MongoId 格式，我将不胜感激！

我正在尝试将数据导入到托管在云上的 mongodb 服务器。

我从企业防火墙内的 linux 服务器运行以下命令：

mongoimport --host myhost:10081 --db mydb -u myusr -p mypass --collection imptest --file test.dat --drop --stopOnError

导入开始运行，成功连接到远程 mongod，创建一条数据记录（检查我的数据库），然后永远挂起，没有错误消息。

我很确定这是由于某些防火墙设置阻止了从 mongo 服务器返回的通信 - 当我从防火墙外部执行相同的操作时，它可以正常工作。我可以让 mongoimport 与更乐观的 WriteConcern 一起工作，而不是等待确认吗？或者更好的是，我怎样才能找出哪个端口被阻塞给我带来了麻烦？

据我了解，为了将 JSON 导入 MongoDB mongoimport，每行需要一个 JSON 字符串。是否有任何工具可以将普通的 JSON 文档转换为这种格式？

我正在使用 csv 类型执行 mongoimport，但找不到忽略注释行的选项。我的 csv 已经注释了标有“#”作为起始字符的行。基本上，我通过 node.js 应用程序调用 MongoDB。没有办法忽略这些吗？有人可以建议是否有选择？

I'm stuck in doing a very simple import operation in MongoDB. I have a file, 200MB in size, JSON format. Its a feeds dump, format as: {"some-headers":"", "dump":[{"item-id":"item-1"},{"item-id":"item-2"},...]} This json feed contains words in languages other than english too, like Chinese, Japanese, Characters, etc. I tried to do a mongoimport as mongoimport --db testdb --collection testcollection --file dump.json but possibly, because the data is a bit complex, its treating dump as a column, resulting in error, due to 4MB column value limit. I further tried and a python script:

Python is killed while running this thing, possibly due to the very limited resources I'm trying to work with. I reduced the filesize, by getting a new json dump at 50MB, now due to ASCII issues, python is troubling me again. I am looking for options both way using mongoimport and with above python script. Any further solutions shall also be greatly appreciated.

Also, I might some day reach the json dump ~GBs, so if there will be some other solution I should consider then, pl do highlight.

我有一个包含大约 2000 条记录的 JSON 文件。将对应于 mongo 数据库中的文档的每条记录的格式如下：

每条记录在 JSON 文件中的一行上，唯一的换行符在每条记录的末尾。因此，文档中的每一行都以“{jobID:”开头...我正在尝试使用以下命令将它们导入 mongo 数据库：

但是，我收到以下错误：

我不知道问题是什么。有人可以推荐一个解决方案吗？

我正在通过我的 node.js 应用程序使用 csv 类型进行 mongoimport。在本地主机上，结果非常好。当我将我的 nodejs 代码库和 mongodb 移动到服务器 env （都在同一台服务器中）时，结果并不那么令人满意，如下所示。这是无法解决的网络延迟问题还是我遗漏了什么？

所以我有一个包含多条记录的 json 文件，看起来像这样......

每条记录都在一行上。所以json文件的一般格式如下：

我正在尝试使用 mongoimport 使用以下命令将这些导入数据库：

我读到每条记录都应该在它自己的行上，就是这样。但是，当我导入文件时，它会将其作为单个文档（也称为记录）导入。如何让 mongo 将此文件解释为包含多个记录而不是单个大文档？谢谢你的帮助！！！