mongodb - 我应该如何使用 MongoDB GridFS 来存储我的大数据？

Question

看了MongoDB Gridfs官方文档后，我知道MongoDB使用GridFS来存储大文件（size>16M），文件可以是视频，电影或其他任何东西。但是现在，我遇到的是大结构化数据，而不是简单的物理文件。数据大小超出限制。更详细地说，我正在处理的是数千个基因序列，其中许多超出了 BSON 文档大小限制。您可以将每个基因序列视为一个简单的字符串，而字符串太大以至于某些字符串具有超过了 mongoDB BSOM 大小限制。那么，我该怎么做才能解决这样的问题呢？GridFS 是否仍然适合解决我的问题？

Answer 1

GridFS 会将数据分割成更小的块，这就是它克服大小限制的方式。它对于流数据特别有用，因为您可以快速访问任何给定偏移量的数据，因为块已被索引。

以数十兆字节存储“结构化”数据听起来有点奇怪：要么您需要根据某些标准访问部分数据，然后您需要一个不同的数据结构来允许访问较小部分的数据。

或者你真的需要根据一些标准来处理整个数据集。在这种情况下，您将需要一个有效索引的集合，您可以根据您的条件进行查询，并且其中包含必须随后处理的文件的 id。

如果没有具体的问题示例，即查询和数据结构是什么样的，很难给您更详细的答案。