4

我将解析 60GB 的文本并在地图中进行大量插入和查找。我刚开始使用 boost::unordered_set 和 boost::unordered_map 当我的程序开始填充这些容器时，它们开始变得越来越大，我想知道为这些容器预先分配内存是否是个好主意。类似 mymap::get_allocator().allocate(N); ?

还是我应该让他们自己分配和找出增长因素？代码看起来像这样

boost::unordered_map <string,long> words_vs_frequency, wordpair_vs_frequency;   
boost::unordered_map <string,float> word_vs_probability, wordpair_vs_probability,
           wordpair_vs_MI;                  
//... ... ...                                   

N = words_vs_frequency.size();
long   y =0; float MIWij =0.0f, maxMI=-999999.0f;
for (boost::unordered_map <string,long>::iterator i=wordpair_vs_frequency.begin(); 
                     i!=wordpair_vs_frequency.end(); ++i){
if (i->second >= BIGRAM_OCCURANCE_THRESHOLD)
    {
    y++;
    Wij = i->first;
    WordPairToWords(Wij, Wi,Wj);
    MIWij =  log ( wordpair_vs_probability[Wij] /
             (word_vs_probability[Wi] * word_vs_probability[Wj]) 
            );

    // keeping only the pairs which MI value greater than 
    if (MIWij > MUTUAL_INFORMATION_THRESHOLD)
        wordpair_vs_MI[ Wij ] = MIWij;
    if(MIWij > maxMI )
        maxMI = MIWij; 
    }

   }

提前致谢

4

3 回答 3

11

根据文档unordered_set，两者unordered_map都有一个方法

void rehash(size_type n);

重新生成哈希表，使其至少包含n存储桶。（听起来它对reserve()STL 容器做了什么）。

于 2009-05-19T06:02:53.147 回答
4

我会尝试两种方式，这将让您生成硬数据，显示一种方法是否比另一种更好。我们可以整天猜测哪种方法是最佳的，但与大多数性能问题一样，最好的办法是尝试一下，看看会发生什么（然后修复实际需要修复的部分）。

话虽如此，Boost 作者似乎非常聪明，所以它很可能会按原样正常工作。您只需要测试并查看即可。

于 2009-05-19T04:06:12.487 回答
0

老实说，我认为您最好编写自己的分配器。例如，您可以使用一个调用方法创建一个分配器，该方法preallocate(int N)将保留 N 个字节，然后unordered_map::get_allocator()用于您的所有乐趣。此外，使用您自己的分配器，您可以告诉它一次抓取大块。

于 2009-05-19T03:50:09.327 回答