6

我想知道是否有人有使用Elasticsearch for Hadoop library配置 Kubernetes 集群的经验。尝试从 spark 写入到 elasticsearch 时，我遇到了节点发现超时的问题。由于 ES的 elasticsearch-cloud-kubernetes插件，我启动并运行了 Elasticsearch ，它处理发现，但我不确定如何最好地配置 elasticsearch-hadoop 以了解 kubernetes 集群中的节点（pod）。我尝试设置spark.es.nodes为 es-client 服务，但这似乎不起作用。我也知道我可以启用es.nodes.wan.only，但如文档中所述，这将严重影响性能，这违背了让它们在同一集群上运行的目的。任何帮助，将不胜感激。

4

1 回答 1

0

我对 elasticsearch-hadoop 的了解并不多，但是您是否尝试过将您的 elasticsearch-hadoop 指向您的 elasticsearch 服务而不是特定节点？您的主节点通常会处理 ES 集群中的所有内容。

于 2016-12-01T15:34:53.927 回答