2

我在对通用索引“sitecore_master_index”、“sitecore_web_index”进行 Sitecore 索引时遇到问题，因为爬虫/索引器会检查数据库中的所有项目，这需要很长时间。

我导入了数千种具有大量规格的产品，并且在产品存储库中确实有数十万个项目。

如果我可以从索引中排除路径，它就不必检查一百万个项目以排除模板。

跟进

我实现了一个自定义爬虫，它排除了被索引的路径列表：

<index id="sitecore_web_index" type="Sitecore.ContentSearch.SolrProvider.SwitchOnRebuildSolrSearchIndex, Sitecore.ContentSearch.SolrProvider">
  <param desc="name">$(id)</param>
  <param desc="core">sitecore_web_index</param>
  <param desc="rebuildcore">sitecore_web_index_sec</param>
  <param desc="propertyStore" ref="contentSearch/indexConfigurations/databasePropertyStore" param1="$(id)" />
  <configuration ref="contentSearch/indexConfigurations/defaultSolrIndexConfiguration" />
  <strategies hint="list:AddStrategy">
    <strategy ref="contentSearch/indexConfigurations/indexUpdateStrategies/onPublishEndAsync" />
  </strategies>
  <locations hint="list:AddCrawler">
    <crawler type="Sitecore.ContentSearch.Utilities.Crawler.ExcludePathsItemCrawler, Sitecore.ContentSearch.Utilities">
      <Database>web</Database>
      <Root>/sitecore</Root>
      <ExcludeItemsList hint="list">
        <ProductRepository>/sitecore/content/Product Repository</ProductRepository>
      </ExcludeItemsList>
    </crawler>
  </locations>
</index>

此外，我激活了 SwitchOnSolrRebuildIndex，因为它是很棒的 ootb 功能，为 SC 欢呼。

using System.Collections.Generic;
using System.Linq;
using Sitecore.ContentSearch;
using Sitecore.Diagnostics;

namespace Sitecore.ContentSearch.Utilities.Crawler
{
  public class ExcludePathsItemCrawler : SitecoreItemCrawler
  {
    private readonly List<string> excludeItemsList = new List<string>();
    public List<string> ExcludeItemsList
    {
      get
      {
        return excludeItemsList;
      }
    }

    protected override bool IsExcludedFromIndex(SitecoreIndexableItem indexable, bool checkLocation = false)
    {
      Assert.ArgumentNotNull(indexable, "item");
      if (ExcludeItemsList.Any(path => indexable.AbsolutePath.StartsWith(path)))
      {
        return true;
      }
      return base.IsExcludedFromIndex(indexable, checkLocation);
    }
  }
}
4

2 回答 2

2

您可以覆盖SitecoreItemCrawler要更改的索引使用的类：

<locations hint="list:AddCrawler">
  <crawler type="Sitecore.ContentSearch.SitecoreItemCrawler, Sitecore.ContentSearch">
    <Database>master</Database>
    <Root>/sitecore</Root>
  </crawler>
</locations>

然后，您可以添加自己的参数，例如ExcludeTree，甚至是ExcludedBranches.

而在类的实现中只需覆盖方法

public override bool IsExcludedFromIndex(IIndexable indexable)

并检查它是否在排除节点下。

于 2016-03-16T20:42:34.040 回答
0

导入大量数据时，您应该尝试暂时禁用数据索引，否则您会遇到爬虫无法跟上的问题。

这里有一篇关于在导入数据时禁用索引的好文章 - 它适用于 Lucene，但我相信你可以对 Solr 做同样的事情，

http://intothecore.cassidy.dk/2010/09/disabling-lucene-indexes.html

另一种选择是将您的产品存储在单独的 Sitecore 数据库中，而不是主数据库中。

另一个进入核心的帖子：

http://intothecore.cassidy.dk/2009/05/working-with-multiple-content-databases.html

于 2016-03-16T20:03:43.717 回答