2

我在 Elasticsearch 中有一个简单的 SQL 查询，我知道它返回的结果少于 100 行。我怎样才能一次得到所有这些结果（即，不使用滚动）？我尝试了该limit n子句，但它在n小于或等于 10 时有效，但在n大于 10 时无效。

调用 Elasticsearch SQL API 的 Python 代码如下。

import requests
import json

url = 'http://10.204.61.127:9200/_xpack/sql'
headers = {
   'Content-Type': 'application/json',
}
query = {
    'query': '''
        select
            date_start,
            sum(spend) as spend
       from
           some_index
       where
           campaign_id = 790
           or
           campaign_id = 490
       group by
           date_start
   '''
}
response = requests.post(url, headers=headers, data=json.dumps(query))

上面的查询返回一个游标 ID。我试图将游标 ID 提供给同一个 SQL API，但它没有给我更多的结果。

我还尝试使用 SQL 翻译 API 将上述 SQL 查询翻译为本机 Elasticsearch 查询，并将其包装到以下 Python 代码中，但它也不起作用。我仍然只有 10 行结果。

import requests
import json


url = 'http://10.204.61.127:9200/some_index/some_doc/_search'
headers = {
    'Content-Type': 'application/json',
}
query = {
    "size": 0,
    "query": {
        "bool": {
            "should": [
                {
                    "term": {
                        "campaign_id.keyword": {
                            "value": 790,
                            "boost": 1.0
                        }
                    }
                },
                {
                    "term": {
                        "campaign_id.keyword": {
                            "value": 490,
                            "boost": 1.0
                        }
                    }
                }
            ],
            "adjust_pure_negative": True,
            "boost": 1.0
        }
    },
    "_source": False,
    "stored_fields": "_none_",
    "aggregations": {
        "groupby": {
            "composite": {
                "size": 1000,
                "sources": [
                    {
                        "2735": {
                            "terms": {
                                "field": "date_start",
                                "missing_bucket": False,
                                "order": "asc"
                            }
                        }
                    }
                ]
            },
            "aggregations": {
                "2768": {
                    "sum": {
                        "field": "spend"
                    }
                }
            }
        }
    }
}
response = requests.post(url, headers=headers, data=json.dumps(query)).json()
4

3 回答 3

1 
POST _sql?format=json
{
  "query": "SELECT field1, field2 FROM indexTableName ORDER BY field1",
  "fetch_size": 10000
}

上面的查询会在响应中返回一个游标，需要在下次调用时传入。

POST _sql?format=json
{
  "cursor": "g/W******lAAABBwA="
}

这类似于 Elasticsearch 中的普通滚动方法

于 2020-10-01T16:11:02.617 回答
1

elasticsearch 有限制，但如果你使用 python，你可以使用 elasticsearc-dsl

from elasticsearch_dsl import Search

q = Q('term', Frequency=self._frequency)
q = q & Q("range", **{'@timestamp': {"from": self._start, "to": self._end}})

Search().query(q).scan()
于 2018-10-25T08:36:12.997 回答
0

使用elasticsearch-sql，LIMIT 100应该转换为"size": 100传统查询 DSL。这将返回最多 100 个匹配结果。

鉴于此要求：

POST _xpack/sql/translate
{
  "query":"SELECT FlightNum FROM flights LIMIT 100"
}

翻译后的查询是：

{
  "size": 100,
  "_source": {
    "includes": [
      "FlightNum"
    ],
    "excludes": []
  },
  "sort": [
    {
      "_doc": {
        "order": "asc"
      }
    }
  ]
}

所以在语法方面，LIMIT N应该做你期望的。至于为什么您没有看到更多结果，这可能与您的索引、查询或数据有关。

有一个设置index.max_result_window可以限制查询的大小，但它默认为 10K，并且应该返回错误，而不仅仅是限制结果。

于 2018-10-25T15:09:09.477 回答