lucene - “轮胎批量 api”完成索引数据所花费的时间比河流还多

Question

以前我使用jdbc River来索引从 mysql 到 elasticsearch 的所有数据。现在我已经转移到轮胎批量 api，因为它让我可以在将数据索引到 elasticsearch 之前自由地操作数据。但是与 3M 记录的 jdbc 河相比，使用轮胎批量 api 的索引过程需要大量时间（4 倍）。有没有办法让索引过程更快更高效？

Answer 1

恕我直言，关键是 JDBC 河流是在 Elasticsearch 内部启动的。所以 JDBC 请求后，数据在内存中，直接发送给 ES。

使用外部进程，您可以多出一个网络跃点。

也就是说，降低 4 倍可能太多了。