目前,我们使用c++代码读取文件(逐行,然后排序并保存为其他格式(txt文件)),逐行读取的数据保存在vector中。这对于小尺寸数据文件来说都很好。
但是现在我们需要支持大型数据文件,这会使我们的代码崩溃(没有足够的内存供向量重新分配和存储。我们不知道我们将拥有多少行数据,因此我们无法设置向量的大小)。
所以我们认为我们可能应该重新设计我们的代码来处理大数据。这一次,我们希望我们能够以一种可以在本地和整体上操作(搜索、排序、插入……)数据的方式保存数据。
我希望这里有人能指出我应该如何做到这一点的正确方向:比如我可以使用哪些语言、数据结构、算法等。