2

有没有办法使用单个配置文件将 2 个或多个 couchbase 存储桶复制到 elasticsearch？

我实际上使用了这个版本的 couchbase elasticsearch 连接器： https ://docs.couchbase.com/elasticsearch-connector/4.0/index.html

我确实正确复制了我的数据，但每次都需要使用不同的配置文件 (.toml) 为每个存储桶运行一个命令。

由于指标端口 31415 已在使用中，因此无法在同一台服务器上多次运行 cbes 命令。

有没有办法一次处理多个连接器组？

4

1 回答 1

1

在 4.0 版中，单个连接器进程只能从一个存储桶进行复制。这是因为索引规则和所有到 Couchbase 服务器的底层网络连接都被限定在存储桶级别。

当前的建议是创建多个配置文件并运行多个连接器进程。据了解，如果您要复制大量存储桶，则管理起来可能会很复杂。

如果您愿意发挥创意，您​​可以为多个存储桶使用相同的配置文件模板。这个想法是，您将编写一个包含一些占位符的配置文件，然后通过运行一个脚本来生成实际的配置文件，该脚本将占位符替换为每个连接器的正确值。

连接器的下一次更新将在配置文件中添加对环境变量替换的内置支持。这可以使模板方法更容易。

以下是避免指标端口冲突的一些选项：

  • 通过将部分中的httpPort键设置为 来禁用指标报告。[metrics]-1
  • 或通过将其设置为来使用随机端口0。
  • 或者使用上面描述的模板思想，并在每个生成的配置文件中插入一个唯一的端口号。

值得一提的是，未来版本的连接器将支持我们称之为“自主操作模式”的东西。当连接器以这种模式运行时，配置将存储在一个中心位置（可能是 Consul 服务器）。可以即时重新配置连接器组，并向该组添加或删除工作人员，而无需停止所有工作人员并编辑其配置文件。希望这将简化大型部署的管理。

于 2019-02-22T07:16:56.573 回答