1

Elasticsearch 和命令行编程新手问题。

我在我的计算机上本地设置了 elasticsearch，并希望使用 scan 和 scroll api 从使用不同版本 es 的服务器中提取文档并将它们添加到我的索引中。我无法弄清楚如何使用 es 的批量 api 来做到这一点。

现在在我的测试阶段，我只是使用以下代码（有效）从服务器中提取一些文档：

   http MY-OLD-ES.com:9200/INDEX/TYPE/_search?size=1000 | jq   .hits.hits[] -c | while read x; do id="`echo "$x" | jq -r ._id`"; index="`echo "$x" | jq -r ._index`"; type="`echo "$x" | jq -r ._type`"; doc="`echo "$x" | jq ._source`"; http put "localhost:9200/junk-$index/$type/$id" <<<"$doc"; done

关于扫描和滚动如何工作的任何提示（菜鸟和有点困惑）。到目前为止，我知道我可以滚动并获取滚动 ID，但我不清楚如何处理滚动 ID。如果我打电话

http get http://MY-OLD-ES.com:9200/my_index/_search?scroll=1m&search_type=scan&size=10

我会收到一个滚动ID。这可以用同样的方式输入和解析吗？此外，我相信我需要一个 while 循环来告诉它继续请求。我应该怎么做呢？

谢谢！

4

1 回答 1

3

扫描和滚动文档解释得很清楚。获得scroll_id（一个长的 base64 编码字符串）后，将其与请求的正文一起传递。使用 curl，请求看起来像这样：

curl -XGET 'http://MY-OLD-ES.com:9200/_search/scroll?scroll=1m' -d '
c2Nhbjs1OzExODpRNV9aY1VyUVM4U0NMd2pjWlJ3YWlBOzExOTpRNV9aY1VyUVM4U0 
NMd2pjWlJ3YWlBOzExNjpRNV9aY1VyUVM4U0NMd2pjWlJ3YWlBOzExNzpRNV9aY1Vy
UVM4U0NMd2pjWlJ3YWlBOzEyMDpRNV9aY1VyUVM4U0NMd2pjWlJ3YWlBOzE7dG90YW
xfaGl0czoxOw==
'

请注意，打开滚动条的第一个请求是 to /my_index/_search，而读取数据的第二个请求是 to /_search/scroll。每次调用时，传递?scroll=1m查询字符串，它都会在滚动自动关闭之前刷新超时。

还有两点需要注意：

  1. 您在打开滚动时传递的值size适用于每个分片，因此您将size乘以每个请求的索引中的分片数。
  2. 每个请求都/_search/scroll将返回一个新的scroll_id，您必须在下一次调用时将其传递以获取下一批结果。你不能一直用相同的scroll_id.

当滚动请求中没有返回任何命中时，它就完成了。

于 2015-03-04T19:40:28.577 回答