5

目前我们正在使用 Couchbase 和 ElasticSearch(2.x) 并使用elasticsearch-transport-couchbase插件成功地将数据从 CB 复制到 ES。

升级到 ES 5.6.4 时出现问题。到目前为止，我们在 ES 中使用单个索引，由于 ElasticSearch不再推荐这种方法，我们现在尝试在 ES 中创建多个索引（每种类型的索引）这意味着我们需要一种复制方法从 CB（单个存储桶）到 ES（多个索引）的数据。

解决这个问题的最佳方法是什么？可能的解决方案：

  1. 继续使用 elasticsearch-transport-couchbase 插件，但是我们必须创建很多（~150）XDCR 复制，每种类型 1 个复制。我怀疑这会扩展..
  2. 使用 Spark 或 Kafka 编写我们自己的解决方案（它们都不在技术堆栈上，因此实施可能需要时间，所以这不是最有利的解决方案）

任何帮助，将不胜感激。

4

1 回答 1

1

Couchbase Elasticsearch 连接器的第 4 版支持新的“index-per-type”模型（以及其他功能，包括支持 ES 6、安全连接和复制检查点管理工具）。如果您想尝试一下，您的反馈将是无价的。

免责声明：我是开发 Elasticsearch 连接器的 Couchbase 员工。

于 2018-08-31T03:24:24.680 回答