3

我有一个包含大约 500 个文件的文件夹（MY_FILES），每天都有一个新文件到达并放置在那里。每个文件的大小约为 4Mb。

我刚刚开发了一个简单的“void main”来测试我是否可以在这些文件中搜索特定的通配符。它工作得很好。

问题是我正在删除旧的 indexed_folder 并再次重新索引。这需要很多时间，而且显然效率低下。我正在寻找的是“增量索引”。意思是，如果索引已经存在 - 只需将新文件添加到索引中。

我想知道 Lucene 是否有某种机制来检查“doc”是否在尝试索引之前被索引。像 writer.isDocExists 这样的东西？

谢谢！

我的代码如下所示：

       // build the writer
       IndexWriter writer;
       IndexWriterConfig indexWriter = new IndexWriterConfig(Version.LUCENE_36, analyzer);
       writer = new IndexWriter(fsDir, indexWriter);
       writer.deleteAll();  //must - otherwise it will return duplicated result 
       //build the docs and add to writer
       File dir = new File(MY_FILES);
       File[] files = dir.listFiles();
       int counter = 0;
       for (File file : files) 
       { 
           String path = file.getCanonicalPath();
           FileReader reader = new FileReader(file);
           Document doc = new Document();  
           doc.add(new Field("filename", file.getName(), Field.Store.YES, Field.Index.ANALYZED));
           doc.add(new Field("path", path, Field.Store.YES, Field.Index.ANALYZED));
           doc.add(new Field("content", reader));  

           writer.addDocument(doc);
           System.out.println("indexing "+file.getName()+" "+ ++counter+"/"+files.length);
       }
4

2 回答 2

5

首先，您应该使用IndexWriter.updateDocument(Term, Document)而不是IndexWriter.addDocument更新文档，这将防止您的索引包含重复的条目。

要执行增量索引，您应该将last-modified时间戳添加到索引的文档中，并且只索引较新的文档。

编辑：有关增量索引的更多详细信息

您的文档应至少包含两个字段：

  • 文件的路径
  • 最后一次修改文件时的时间戳。

在开始索引之前，只需在索引中搜索最新的时间戳，然后爬取目录以查找时间戳比索引的最新时间戳更新的所有文件。

这样，您的索引将在每次文件更改时更新。

于 2012-09-17T22:06:25.077 回答
2

如果您想检查您的文档是否已经存在于索引中，一种方法可能是生成关联的 Lucene 查询，您将使用它IndexSearcher来搜索 Lucene 索引。

例如，在这里，您可以使用 fields 构建查询filename，path并content检查文档是否已存在于索引中。

您将需要一个IndexSearcher除了您的IndexWriter并遵循 ​​Lucene 查询语法来生成您将提供给 Lucene 的全文查询（例如

 filename:myfile path:mypath content:mycontent

）。

IndexSearcher indexSearcher = new IndexSearcher(directory);

String query = // generate your query

indexSearcher.search(query, collector);

在上面的代码中，collector包含一个回调方法 collect 如果索引中的某些数据与查询匹配，它将使用文档 ID 调用该方法。

于 2012-09-17T15:44:19.967 回答