0

我现在正在使用 solrcloud，但我面临一个可能导致索引进程挂起的问题。

我的部署只有一个集合，有 5 个分片在 5 台机器上运行。每天我们都会使用 dataimporthandler 做一个完整的索引，它有 5000 万个文档。我们使用 solrcloud 的分布式索引在 5 台机器中的一台上触发索引。

我发现，有时 5 台机器中的一台会死机，原因是

2013-01-08 10:43:35,879 ERROR core.SolrCore - java.io.FileNotFoundException: /home/admin/index/core_p_shard2/index/_31xu.fnm (No such file or directory)
        at java.io.RandomAccessFile.open(Native Method)
        at java.io.RandomAccessFile.<init>(RandomAccessFile.java:216)
        at org.apache.lucene.store.MMapDirectory.openInput(MMapDirectory.java:222)
        at org.apache.lucene.store.NRTCachingDirectory.openInput(NRTCachingDirectory.java:232)
        at org.apache.lucene.codecs.lucene40.Lucene40FieldInfosReader.read(Lucene40FieldInfosReader.java:52)
        at org.apache.lucene.index.SegmentCoreReaders.<init>(SegmentCoreReaders.java:101)
        at org.apache.lucene.index.SegmentReader.<init>(SegmentReader.java:57)
        at org.apache.lucene.index.ReadersAndLiveDocs.getReader(ReadersAndLiveDocs.java:120)
        at org.apache.lucene.index.BufferedDeletesStream.applyDeletes(BufferedDeletesStream.java:267)
        at org.apache.lucene.index.IndexWriter.applyAllDeletes(IndexWriter.java:3010)
        at org.apache.lucene.index.DocumentsWriter.applyAllDeletes(DocumentsWriter.java:180)
        at org.apache.lucene.index.DocumentsWriter.postUpdate(DocumentsWriter.java:310)
        at org.apache.lucene.index.DocumentsWriter.updateDocument(DocumentsWriter.java:386)
        at org.apache.lucene.index.IndexWriter.updateDocument(IndexWriter.java:1445)
        at org.apache.solr.update.DirectUpdateHandler2.addDoc(DirectUpdateHandler2.java:210)
        at org.apache.solr.update.processor.RunUpdateProcessor.processAdd(RunUpdateProcessorFactory.java:61)
        at org.apache.solr.update.processor.UpdateRequestProcessor.processAdd(UpdateRequestProcessor.java:51)
        at org.apache.solr.update.processor.DistributedUpdateProcessor.versionAdd(DistributedUpdateProcessor.java:448)
        at org.apache.solr.update.processor.DistributedUpdateProcessor.processAdd(DistributedUpdateProcessor.java:325)
        at org.apache.solr.handler.loader.XMLLoader.processUpdate(XMLLoader.java:230)
        at org.apache.solr.handler.loader.XMLLoader.load(XMLLoader.java:157)
        at org.apache.solr.handler.UpdateRequestHandler$1.load(UpdateRequestHandler.java:92)
        at org.apache.solr.handler.ContentStreamHandlerBase.handleRequestBody(ContentStreamHandlerBase.java:74)
        at org.apache.solr.handler.RequestHandlerBase.handleRequest(RequestHandlerBase.java:129)
        at org.apache.solr.core.SolrCore.execute(SolrCore.java:1699)

我检查了索引目录，它确实不包含 _31xu.fnm。我想知道分布式索引中是否存在一些并发错误？

据我所知，分布式索引是这样工作的。您可以将文档发送到任何分片，文档将根据哈希 id 纠正分片。并且 dataimporthandler 将使用 updatehandler 将文档转发到正确的分片。最后文档将通过 DocumentsWriterPerThread 刷新到磁盘。我想知道从分片触发的索引发送的更新请求太多导致了问题。我的猜测是基于我在机器上发现的 whild dead 有很多索引段，而且每个索引段都非常小。

我对solr不太熟悉，可能我的猜测根本没有意义，有人有什么想法吗？谢谢

4

0 回答 0