77

从 ElasticSearch 获取某个索引的所有 _id 的最快方法是什么？是否可以使用简单的查询？我的一个索引有大约 20,000 个文档。

4

11 回答 11

82

编辑：也请阅读@Aleck Landgraf 的回答

您只想要 elasticsearch-internal_id字段吗？还是id文档中的一个字段？

对于前者，尝试

curl http://localhost:9200/index/type/_search?pretty=true -d '
{ 
    "query" : { 
        "match_all" : {} 
    },
    "stored_fields": []
}
'

注意 2017 年更新：最初包含该帖子"fields": []，但此后名称已更改并且stored_fields是新值。

结果将仅包含文档的“元数据”

{
  "took" : 7,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 4,
    "max_score" : 1.0,
    "hits" : [ {
      "_index" : "index",
      "_type" : "type",
      "_id" : "36",
      "_score" : 1.0
    }, {
      "_index" : "index",
      "_type" : "type",
      "_id" : "38",
      "_score" : 1.0
    }, {
      "_index" : "index",
      "_type" : "type",
      "_id" : "39",
      "_score" : 1.0
    }, {
      "_index" : "index",
      "_type" : "type",
      "_id" : "34",
      "_score" : 1.0
    } ]
  }
}

对于后者，如果您想包含文档中的字段，只需将其添加到fields数组中

curl http://localhost:9200/index/type/_search?pretty=true -d '
{ 
    "query" : { 
        "match_all" : {} 
    },
    "fields": ["document_field_to_be_returned"]
}
'
于 2013-07-05T22:07:28.537 回答
56

最好使用滚动和扫描来获取结果列表，这样弹性搜索就不必对结果进行排名和排序。

使用elasticsearch-dslpython lib，这可以通过以下方式完成：

from elasticsearch import Elasticsearch
from elasticsearch_dsl import Search

es = Elasticsearch()
s = Search(using=es, index=ES_INDEX, doc_type=DOC_TYPE)

s = s.fields([])  # only get ids, otherwise `fields` takes a list of field names
ids = [h.meta.id for h in s.scan()]

控制台日志：

GET http://localhost:9200/my_index/my_doc/_search?search_type=scan&scroll=5m [status:200 request:0.003s]
GET http://localhost:9200/_search/scroll?scroll=5m [status:200 request:0.005s]
GET http://localhost:9200/_search/scroll?scroll=5m [status:200 request:0.005s]
GET http://localhost:9200/_search/scroll?scroll=5m [status:200 request:0.003s]
GET http://localhost:9200/_search/scroll?scroll=5m [status:200 request:0.005s]
...

注意：滚动从查询中提取批量结果，并使光标保持打开给定的时间（1 分钟、2 分钟，您可以更新）；扫描禁用排序。scan辅助函数返回一个可以安全迭代的 python 生成器。

于 2015-06-15T21:57:48.613 回答
23

对于 elasticsearch 5.x，您可以使用“ _source ”字段。

GET /_search
{
    "_source": false,
    "query" : {
        "term" : { "user" : "kimchy" }
    }
}

"fields"已被弃用。（错误：“不再支持字段 [fields]，请使用 [stored_fields] 检索存储的字段，如果字段未存储，请使用 _source 过滤”）

于 2016-11-14T04:25:52.543 回答
13

另外的选择

curl 'http://localhost:9200/index/type/_search?pretty=true&fields='

将返回 _index、_type、_id 和 _score。

于 2014-08-18T06:43:44.467 回答
12

详细说明 @Robert-Lujo 和 @Aleck-Landgraf 的 2 个答案（有权限的人可以很乐意将其移至评论）：如果您不想打印但从返回的生成器中获取列表中的所有内容，这就是我用：

from elasticsearch import Elasticsearch,helpers
es = Elasticsearch(hosts=[YOUR_ES_HOST])
a=helpers.scan(es,query={"query":{"match_all": {}}},scroll='1m',index=INDEX_NAME)#like others so far

IDs=[aa['_id'] for aa in a]
于 2016-02-10T17:16:31.060 回答
6

我知道这篇文章有很多答案，但我想结合几个来记录我发现最快的答案（无论如何在 Python 中）。我正在处理数亿份文件，而不是数千份。

该类helpers可以与切片滚动一起使用，因此允许多线程执行。就我而言，我也有一个高基数字段来提供 ( acquired_at)。您会看到我设置max_workers为 14，但您可能希望根据您的机器来改变它。

此外，我以压缩格式存储文档 ID。如果你很好奇，你可以检查你的 doc id 有多少字节，并估计最终的转储大小。

# note below I have es, index, and cluster_name variables already set

max_workers = 14
scroll_slice_ids = list(range(0,max_workers))

def get_doc_ids(scroll_slice_id):
    count = 0
    with gzip.open('/tmp/doc_ids_%i.txt.gz' % scroll_slice_id, 'wt') as results_file:
        query = {"sort": ["_doc"], "slice": { "field": "acquired_at", "id": scroll_slice_id, "max": len(scroll_slice_ids)+1}, "_source": False}
        scan = helpers.scan(es, index=index, query=query, scroll='10m', size=10000, request_timeout=600)
        for doc in scan:
            count += 1
            results_file.write((doc['_id'] + '\n'))
            results_file.flush()

    return count 

if __name__ == '__main__':
    print('attempting to dump doc ids from %s in %i slices' % (cluster_name, len(scroll_slice_ids)))
    with futures.ThreadPoolExecutor(max_workers=max_workers) as executor:
        doc_counts = executor.map(get_doc_ids, scroll_slice_ids)

如果您想了解文件中有多少个 id，可以使用unpigz -c /tmp/doc_ids_4.txt.gz | wc -l.

于 2020-02-24T16:44:11.057 回答
3

对于 Python 用户：Python Elasticsearch 客户端为滚动 API 提供了方便的抽象：

from elasticsearch import Elasticsearch, helpers
client = Elasticsearch()

query = {
    "query": {
        "match_all": {}
    }
}

scan = helpers.scan(client, index=index, query=query, scroll='1m', size=100)

for doc in scan:
    # do something
于 2019-11-26T15:47:49.807 回答
2

您也可以在 python 中执行此操作，它会为您提供正确的列表：

import elasticsearch
es = elasticsearch.Elasticsearch()

res = es.search(
    index=your_index, 
    body={"query": {"match_all": {}}, "size": 30000, "fields": ["_id"]})

ids = [d['_id'] for d in res['hits']['hits']]
于 2015-05-28T07:24:19.920 回答
2

受@Aleck-Landgraf 答案的启发，对我来说，它是通过在标准 elasticsearch python API 中使用直接扫描函数来工作的：

from elasticsearch import Elasticsearch
from elasticsearch.helpers import scan
es = Elasticsearch()
for dobj in scan(es, 
                 query={"query": {"match_all": {}}, "fields" : []},  
                 index="your-index-name", doc_type="your-doc-type"): 
        print dobj["_id"],
于 2016-01-16T22:39:47.923 回答
0

这是有效的！

def select_ids(self, **kwargs):
    """

    :param kwargs:params from modules
    :return: array of incidents
    """
    index = kwargs.get('index')
    if not index:
        return None

    # print("Params", kwargs)
    query = self._build_query(**kwargs)
    # print("Query", query)

    # get results
    results = self._db_client.search(body=query, index=index, stored_fields=[], filter_path="hits.hits._id")
    print(results)
    ids = [_['_id'] for _ in results['hits']['hits']]
    return ids
于 2020-12-08T01:55:09.713 回答
-4 
Url -> http://localhost:9200/<index>/<type>/_query
http method -> GET
Query -> {"query": {"match_all": {}}, "size": 30000, "fields": ["_id"]}
于 2016-10-04T08:47:50.203 回答