9
  1. 在 MySQL 中添加新项目时，它也必须由 Lucene 索引。
  2. 当从 MySQL 中删除现有项目时，它也必须从 Lucene 的索引中删除。

这个想法是编写一个脚本，通过调度程序（例如 CRON 任务）每 x 分钟调用一次。这是一种保持 MySQL 和 Lucene 同步的方法。到目前为止我所管理的：

  1. 对于 MySQL 中每个新添加的项目，Lucene 也会对其进行索引。
  2. 对于 MySQL 中每个已经添加的项目，Lucene 不会重新索引它（没有重复的项目）。

这就是我要求您帮助管理的重点：

  1. 对于每个先前添加的项目，然后从 MySQL 中删除，Lucene 也应该取消索引它。

这是我使用的代码，它试图索引一个 MySQL 表tag (id [PK] | name)：

public static void main(String[] args) throws Exception {

    Class.forName("com.mysql.jdbc.Driver").newInstance();
    Connection connection = DriverManager.getConnection("jdbc:mysql://localhost/mydb", "root", "");
    StandardAnalyzer analyzer = new StandardAnalyzer(Version.LUCENE_36);
    IndexWriterConfig config = new IndexWriterConfig(Version.LUCENE_36, analyzer);
    IndexWriter writer = new IndexWriter(FSDirectory.open(INDEX_DIR), config);

    String query = "SELECT id, name FROM tag";
    Statement statement = connection.createStatement();
    ResultSet result = statement.executeQuery(query);

    while (result.next()) {
        Document document = new Document();
        document.add(new Field("id", result.getString("id"), Field.Store.YES, Field.Index.NOT_ANALYZED));
        document.add(new Field("name", result.getString("name"), Field.Store.NO, Field.Index.ANALYZED));
        writer.updateDocument(new Term("id", result.getString("id")), document);
    }

    writer.close();

}

PS：此代码仅用于测试目的，无需告诉我它有多糟糕 :)

编辑：

一种解决方案可能是删除任何预先添加的文档，并重新索引所有数据库：

writer.deleteAll();
while (result.next()) {
    Document document = new Document();
    document.add(new Field("id", result.getString("id"), Field.Store.YES, Field.Index.NOT_ANALYZED));
    document.add(new Field("name", result.getString("name"), Field.Store.NO, Field.Index.ANALYZED));
    writer.addDocument(document);
}

我不确定这是最优化的解决方案，是吗？

4

2 回答 2

9

只要您让索引/重新索引与您的应用程序分开运行，您就会遇到同步问题。根据您的工作领域，这可能不是问题，但对于许多并发用户应用程序来说却是。

当我们有一个每隔几分钟运行异步索引的作业系统时，我们也遇到了同样的问题。用户会使用搜索引擎找到产品，然后即使管理员从有效产品堆栈中删除了产品，仍然会在前端找到它，直到下一个重新索引作业运行。这会导致向一级支持报告的非常混乱且很少可重现的错误。

我们看到了两种可能性：要么将业务逻辑紧密连接到搜索索引的更新，要么实现更紧密的异步更新任务。我们做了后者。

在后台，有一个类运行在 tomcat 应用程序内的专用线程中，它接受更新并并行运行它们。后台更新到前端的等待时间降至0.5-2秒，大大减少了一级支持的问题。而且，它尽可能地松散耦合，我们甚至可以实现不同的索引引擎。

于 2012-06-01T07:35:20.453 回答
2

看看 Solr DataImportScheduler 方法。
基本上，当 Web 应用程序启动时，它会生成一个单独的 Timer 线程，该线程会定期针对 Solr 触发 HTTP Post，然后使用您设置的 DataImportHandler 从 RDB（和其他数据源）中提取数据。

因此，由于您不使用 Solr，而仅使用 Lucene，因此您应该查看DataImportHandler 源以获得想法。

于 2012-06-01T07:25:47.583 回答