1

逐行处理来自 C++ 文件的数据的最有效（一般不容易出错/“正确”）方式（如果存在）是什么？也就是说，一次只使用文件中的一行来执行一些冗长的计算，然后再转到下一行。我已经考虑过以下选项，但无法决定哪个更合适。

  1. 目前我正在做类似的事情（打开，做所有事情，最后关闭）：

    string line; 
fstream myfile;
int numlines = 1000;
myfile.open("myfile.csv");
for(int i = 0; i < numlines; i++){
    getline(myfile, line); 
    // do something using read data
};
myfile.close();

  2. 读取数据后立即打开和关闭（不会对速度造成太大影响，因为计算时间比数据导入要长得多）：

    string line; 
fstream myfile;
int numlines = 1000;
for(int i = 0; i < numlines; i++){
    myfile.open("myfile.csv");
    for(int j = 0; j < i+1; j++)
        getline(myfile, line); 
    myfile.close();
    // do something using read data
};

  3. 一次读取所有数据（需要存储在 ~30x1000 2D 数组中，line用逗号分割成数组）：

    string line; 
fstream myfile;
int numlines = 1000;
double data[numlines][30];
myfile.open("myfile.csv");
for(int i = 0; i < numlines; i++){
    getline(myfile, line);
    // split by comma, store in data[][]
} 
myfile.close();      
for(int i = 0; i < numlines; i++){
    // do something using data[i][]
};

这里是否有任何陷阱，或者上述任何解决方案是否有效？我在想也许将文件保持打开状态几个小时不是一个好主意（也许？），但是在内存中保持一个大的双 2D 数组听起来也不正确......

4

1 回答 1

5

如果可以，请使用 1。如果必须，请使用 3。永远不要使用 2。

为什么？选项 1 仅对单行缓冲区使用存储。它只遍历文件一次。由于打开的文件通常不是昂贵的资源，因此它可能是最便宜和最简单的。

但是，选项 1 并不总是足够的。有时您需要以随机顺序处理行。这里是选项 3 最好的地方。在这种情况下，如果有足够的内存，读取整个文件并将内容提取到内存中是迄今为止最简单的。在许多情况下，一个字符串数组就足够了。在你的行中，这些行似乎包含双打的文本表示。因此，在您阅读时提取这些内容是合适的。通常，您希望以存储和/或访问效率高的形式进行提取。

如果文件太大，内容不适合内存，那么您必须使用随机文件访问（fseek或seek在 C++ 中）。对于文本行，通读它以找到行开始的偏移量。将它们存储在数组中以用作行索引。通过使用适当的索引条目寻找行开始来访问行。然后阅读到下一个换行符。索引将是每行 8 个字节加上单行的缓冲区。如果文件真的很大，那么您可以将索引存储在一个文件中，并在每行访问中搜索两次。最好将索引和数据放在不同的磁盘驱动器上以减少寻道时间。消除索引的另一种选择是要求所有行具有相同的长度，因此算术足以找到任何行。

仅当您在处理一行时维护一个打开的文件会产生过高的成本时，选项 2 才有意义。实际上永远不会是这样。您的代码必须读取 n 个单位的文件的 O(n^2) 个数据单位。随着问题变得越来越大，对性能非常不利。由于文件 IO 通常是程序的瓶颈，这确实非常糟糕。

此外，文件打开和关闭是相当昂贵的操作，不能随意进行。我曾经在一个大型仿真系统上工作，并被要求看看我是否可以加快它的速度。事实上，考虑到它在做什么，它似乎过于缓慢。经过几周的逆向工程代码，我终于发现在事件循环中每次迭代都会打开一个跟踪文件以进行追加和关闭一次。我将打开和关闭移到了循环之外（在循环内添加了一个偶尔的冲洗来替换），哇哦！模拟速度提高了 20 倍或更多。至少可以说，客户很高兴。

于 2013-05-07T03:27:17.970 回答