c# - 从文件大小超过 4TB 的 .csv 文件中搜索文本

Question

我有一个文件大小超过 4TB 的 .csv 文件，文件中的所有记录都按 FirstName 列排序。现在我想搜索任何名称说“测试”。什么是搜索的最佳方法？

Answer 1

如果您需要一个简单但缓慢的搜索，System.Io.File 和一些 LinQ 可能就足够了：

System.IO.File.ReadLines("yourfile.csv").Where( s => s.StartsWith("test") );

您可以通过自己执行 foreach 循环来改进这一点，以便在第一次出现后中断。对于更复杂的东西，我建议您使用数据库。4TB 不应该存储在具有可变数据长度的文件中。如果您想在代码中有效地执行此操作，您将自己编写半个数据库。