1

最近，我从 solr 5.0 升级到了 solr 6.4.1。我可以很好地运行我的应用程序，但问题是 solr 6 的索引大小太大了。在 solr 5 中，索引大小约为 15GB，而在 solr 6 中，对于相同的数据，索引大小为 300GB！我无法理解是什么导致了 solr 6 的巨大差异。

我已经能够识别出一个正在扩大索引大小的字段。如下。

<dynamicField name="*_note" type="text_general" indexed="true" stored="true" multiValued="true"  />

<field name="textproperty" type="text_general" indexed="true" stored="false" multiValued="true"  />
<copyField source="*_note" dest="textproperty"/>

注释掉该字段后，索引大小会减少到 10GB 以下。

此字段的类型为 text_general。以下是该类型的定义。

<fieldType name="text_general" class="solr.TextField" positionIncrementGap="100">
      <analyzer type="index">
        <charFilter class="solr.HTMLStripCharFilterFactory" />
        <tokenizer class="solr.StandardTokenizerFactory"/>
        <filter class="solr.LowerCaseFilterFactory"/>
        <charFilter class="solr.PatternReplaceCharFilterFactory" pattern="((?m)[a-z]+)'s" replacement="$1s" />
        <filter class="solr.WordDelimiterFilterFactory" protected="protwords.txt" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0" splitOnCaseChange="0"/>
        <filter class="solr.KStemFilterFactory" /> 
        <filter class="solr.StopFilterFactory" ignoreCase="true" words="C:/Users/pratik/Desktop/solr-6.4.1_playground/solr-6.4.1/server/solr/collection1/conf/stopwords.txt" />
      </analyzer>
      <analyzer type="query">
        <charFilter class="solr.HTMLStripCharFilterFactory" />
        <tokenizer class="solr.StandardTokenizerFactory"/>
        <filter class="solr.LowerCaseFilterFactory"/>
        <charFilter class="solr.PatternReplaceCharFilterFactory" pattern="((?m)[a-z]+)'s" replacement="$1s" />
        <filter class="solr.WordDelimiterFilterFactory" protected="protwords.txt" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0" splitOnCaseChange="0"/>
        <filter class="solr.KStemFilterFactory" /> 
        <filter class="solr.StopFilterFactory" ignoreCase="true" words="C:/Users/pratik/Desktop/solr-6.4.1_playground/solr-6.4.1/server/solr/collection1/conf/stopwords.txt" />
      </analyzer>
  </fieldType>

我为调试此问题所做的几件事：

  • 我确保字段类型定义与我在 solr 5 中使用的相同，并且在版本 6 中也有效。此字段类型考虑在索引期间忽略“停用词”列表。我提供了与我们在 solr 5 中使用的相同的停用词列表。我已验证此文件的路径是正确的，并且在 solr 管理 UI 中加载正常。当我使用 solr 管理 UI 的“分析”选项卡分析这些字段时，我可以看到停用词被过滤掉了。但是，当我使用其中一些停用词进行查询时，我确实得到了结果，这让我认为可能停用词正在被索引。

知道什么可以在 solr 6 中将索引的大小增加这么多吗？

4

1 回答 1

2

对于任何面临类似问题的人。对我来说，问题是导致索引大小不成比例地增加的字段具有字段类型（“text_general”），其中 omitNorms 的默认值不正确。在字段上显式打开它可以解决问题。以下是我在 solr 邮件列表中的相关问题的链接。

http://search-lucene.com/m/Solr/eHNlagIB7209f1w1?subj=Fwd+Solr+dynamic+field+blowing+up+the+index+size

于 2018-02-14T17:42:51.893 回答