4

我正在尝试索引从 tomcat 服务器获得的大量日志文件。我编写了代码来打开每个文件，为每一行创建一个索引，然后使用 Apache lucene 存储每一行​​。所有这些都是使用多线程完成的。

当我尝试使用此代码时出现此异常

org.apache.lucene.store.LockObtainFailedException: Lock obtain timed out:

代码

  if (indexWriter.getConfig().getOpenMode() == IndexWriterConfig.OpenMode.CREATE)
        {
          // New index, so we just add the document (no old document can be there):
           System.out.println("adding " + path);

                indexWriter.addDocument(doc);

       } else {
          // Existing index (an old copy of this document may have been indexed) so 
       // we use updateDocument instead to replace the old one matching the exact 
           // path, if present:
            System.out.println("updating " + path);

                indexWriter.updateDocument(new Term("path", path), doc);

          }
        indexWriter.commit();
        indexWriter.close();

现在我想，因为我每次都提交索引，它可能会导致写锁。所以我删除了indexWriter.commit();：

if (indexWriter.getConfig().getOpenMode() == IndexWriterConfig.OpenMode.CREATE)
    {
      // New index, so we just add the document (no old document can be there):
       System.out.println("adding " + path);

            indexWriter.addDocument(doc);

   } else {
      // Existing index (an old copy of this document may have been indexed) so 
   // we use updateDocument instead to replace the old one matching the exact 
       // path, if present:
        System.out.println("updating " + path);

            indexWriter.updateDocument(new Term("path", path), doc);

      }

    indexWriter.close();

现在我也不例外

问：所以我的问题是为什么 indexWriter.commit(); 导致异常。即使我删除 indexWriter.commit(); 我在搜索时没有遇到任何问题。那就是我得到了我想要的确切结果。那为什么要使用 indexWriter.commit(); ?

4

1 回答 1

2

简而言之，它类似于 DB 提交，除非您提交事务，否则添加到 Solr 的文档只是保存在内存中。只有在提交时，文档才会保留在索引中。
如果文档在内存中时 Solr 崩溃，您可能会丢失这些文档。

解释：-

从第一天开始，Lucene 的原则之一就是一次写入策略。我们从不写两次文件。当您通过 IndexWriter 添加文档时，它会被索引到内存中，一旦我们达到某个阈值（最大缓冲文档或 RAM 缓冲区大小），我们会将所有文档从主内存写入磁盘；您可以在此处和此处找到更多相关信息。将文档写入磁盘会产生一个全新的索引，称为段。现在，当您索引一堆文档或在生产环境中运行增量索引时，您可以看到段的数量经常变化。然而，一旦你调用 commit Lucene 会将其整个 RAM 缓冲区刷新为段，同步它们并将指向属于此提交的所有段的指针写入 SEGMENTS 文件。

如果文档已经存在于 Solr 中，它将被覆盖（由唯一 id 确定）。
因此，您的搜索可能仍然可以正常工作，但除非您提交，否则最新文档不可用于搜索。

此外，一旦您打开和索引编写器，它将获得索引上的锁定，您应该关闭编写器以释放锁定。

于 2013-03-19T13:45:15.207 回答