5

我正在开发一个 C++ 程序（C++ 98）。它读取一个包含很多行（10000 行）的文本文件。这些是制表符分隔的值，然后我将其解析为 Vector 对象的 Vector。但是它似乎适用于某些文件（较小），但我的一个文件给了我以下错误（这个文件有 10000 行，它是 90MB）。我猜这是与内存相关的问题？你能帮我么？

错误

terminate called after throwing an instance of 'std::bad_alloc'
  what():  std::bad_alloc
Abort

代码

void AppManager::go(string customerFile) {

    vector<vector<string> > vals = fileReader(customerFile);

    for (unsigned int i = 0; i < vals.size();i++){

        cout << "New One\n\n";

        for (unsigned int j = 0; j < vals[i].size(); j++){

            cout << vals[i][j] << endl;
        }

        cout << "End New One\n\n";
    }
}

vector<vector<string> > AppManager::fileReader(string fileName) {

    string line;
    vector<vector<string> > values;

    ifstream inputFile(fileName.c_str());

    if (inputFile.is_open()) {

        while (getline(inputFile,line)) {

            std::istringstream iss(line);
            std::string val;
            vector<string> tmp;

            while(std::getline(iss, val, '\t')) {

                tmp.push_back(val);
            }

            values.push_back(tmp);
        }

        inputFile.close();
    }
    else {

        throw string("Error reading the file '" + fileName + "'");
    }

    return values;
}
4

1 回答 1

7

您的代码没有任何问题，您只是在可能具有较小内存限制的平台上运行，可能是旧的编译器并且可能是旧的 C++ 库。这一切都对你不利。您必须进行微优化:(

以下是您可以做的事情，首先从最容易实现的目标开始：

  1. 对文件进行空运行，只计算行数。然后values.resize(numberOfLines)，寻找开始，然后才读取值。当然你不会再使用values.push_back了，只是values[lineNumber] = tmp. 在添加向量时调整values向量的大小可能会使您的进程临时所需的内存量增加一倍以上。

  2. 在行尾，做tmp.resize(tmp.size()- 它会缩小向量以适合数据。

  3. 您可以通过将所有值存储在一个向量中来减少现有代码的开销。

    1. 如果每行有不同数量的元素，但您稍后按顺序访问它们，则可以存储一个空字符串作为内部分隔符，它的开销可能低于向量。

    2. 如果每行具有相同数量的值，则将它们按行拆分会增加不必要的开销-您知道每行中第一个值的索引，很简单lineNumber * valuesPerLine，其中第一行有 number 0。

  4. 内存映射文件。将每个单词的开头和结尾存储在向量的结构元素中，如果您需要将其分成几行，也可以使用行号。

于 2013-10-08T02:28:43.477 回答