我有的 ?
我有“n”个部门的数据每个部门有超过 1000 个数据集每个数据集有超过 10,000 个 csv 文件(大小大于 10MB),每个文件都有不同的模式。
这些数据在未来还会增长更多
我想做的事?
我想将此数据映射到 mongodb
我使用了哪些方法?
我无法将每个数据集映射到 mongo 中的文档,因为它的限制为 4-16MB
我无法为每个数据集创建集合,因为最大集合数也是有限的(<24000)
所以最后我想为每个部门创建一个集合,在该集合中为属于该部门的 csv 文件中的每条记录创建一个文档。
我想从你那里知道:
如果我们将每条记录映射到文档,会不会出现性能问题?
文件数量有最大限制吗?
我还能做其他设计吗?