17

假设我有这个给定的数据

{
            "name" : "ABC",
            "favorite_cars" : [ "ferrari","toyota" ]
          }, {
            "name" : "ABC",
            "favorite_cars" : [ "ferrari","toyota" ]
          }, {
            "name" : "GEORGE",
            "favorite_cars" : [ "honda","Hyundae" ]
          }

每当我在搜索最喜欢的汽车是丰田的人时查询此数据时，它都会返回此数据

{

            "name" : "ABC",
            "favorite_cars" : [ "ferrari","toyota" ]
          }, {
            "name" : "ABC",
            "favorite_cars" : [ "ferrari","toyota" ]
          }

结果是两条记录，名称为 ABC。如何仅选择不同的文档？我想要得到的结果只有这个

{
                "name" : "ABC",
                "favorite_cars" : [ "ferrari","toyota" ]
              }

这是我的查询

{
    "fuzzy_like_this_field" : {
        "favorite_cars" : {
            "like_text" : "toyota",
            "max_query_terms" : 12
        }
    }
}

我正在使用 ElasticSearch 1.0.0。使用 java api 客户端

4

4 回答 4

21

您可以使用聚合消除重复项。使用术语聚合，结果将按一个字段分组，例如name，还提供字段每个值的出现次数，并将按此计数对结果进行排序（降序）。

{
  "query": {
    "fuzzy_like_this_field": {
      "favorite_cars": {
        "like_text": "toyota",
        "max_query_terms": 12
      }
    }
  },
  "aggs": {
    "grouped_by_name": {
      "terms": {
        "field": "name",
        "size": 0
      }
    }
  }
}

除了 之外hits，结果还将包含buckets具有唯一值的key和 中的计数doc_count：

{
  "took" : 4,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 2,
    "max_score" : 0.19178301,
    "hits" : [ {
      "_index" : "pru",
      "_type" : "pru",
      "_id" : "vGkoVV5cR8SN3lvbWzLaFQ",
      "_score" : 0.19178301,
      "_source":{"name":"ABC","favorite_cars":["ferrari","toyota"]}
    }, {
      "_index" : "pru",
      "_type" : "pru",
      "_id" : "IdEbAcI6TM6oCVxCI_3fug",
      "_score" : 0.19178301,
      "_source":{"name":"ABC","favorite_cars":["ferrari","toyota"]}
    } ]
  },
  "aggregations" : {
    "grouped_by_name" : {
      "buckets" : [ {
        "key" : "abc",
        "doc_count" : 2
      } ]
    }
  }
}

请注意，由于重复消除和结果排序，使用聚合的成本会很高。

于 2014-07-13T22:03:28.513 回答
9

ElasticSearch 不提供任何查询，您可以通过这些查询获取基于字段值的不同文档。

理想情况下，您应该索引具有相同类型和id的同一个文档，因为 ElasticSearch 使用这两个东西来为文档提供_uid唯一 id。唯一 id 很重要，不仅因为它检测重复文档的方式，而且在发生任何修改时更新同一文档而不是插入新文档。有关索引文档的更多信息，您可以阅读此。

但是肯定有解决您的问题的方法。由于您使用的是 java api 客户端，因此您可以根据自己的字段值删除重复的文档。事实上，它使您可以更灵活地对从 ES 获得的响应执行自定义操作。

SearchResponse response = client.prepareSearch().execute().actionGet();
SearchHits hits = response.getHits();

Iterator<SearchHit> iterator = hits.iterator();
Map<String, SearchHit> distinctObjects = new HashMap<String,SearchHit>();
while (iterator.hasNext()) {
    SearchHit searchHit = (SearchHit) iterator.next();
    Map<String, Object> source = searchHit.getSource();
    if(source.get("name") != null){
        distinctObjects.put(source.get("name").toString(),source);
    }

}

因此，您将在地图中拥有唯一的 searchHit 对象的地图。

您还可以创建对象映射并使用它来代替 SearchHit。

我希望这能解决你的问题。如果代码中有任何错误，请原谅我。这只是一个伪代码，让您了解如何解决您的问题。

谢谢

于 2014-07-13T17:38:26.157 回答
3

@JRL 几乎是正确的。您将需要在查询中进行聚合。这将为您提供按发生率排序的对象中前 10000 个“favorite_cars”的列表。

{
    "query":{ "match_all":{ } },
    "size":0,
    "Distinct" : {
        "Cars" : {
            "terms" : { "field" : "favorite_cars", "order": { "_count": "desc"}, "size":10000 }
         }
    }
}

还值得注意的是，您不希望分析“favorite_car”字段以获得“McLaren F1”而不是“McLaren”、“F1”。

"favorite_car": {
    "type": "string",
    "index": "not_analyzed"
}
于 2015-04-08T18:56:24.793 回答
2

对于单个分片，这可以使用自定义过滤器来处理，该过滤器也负责分页。为了处理上述用例，我们可以使用如下脚本支持：

  • 定义自定义脚本过滤器。对于这个讨论假设它被称为 AcceptDistinctDocumentScriptFilter
  • 此自定义过滤器将主键列表作为输入。
  • 这些主键是其值将用于确定记录唯一性的字段。
  • 现在，我们不使用聚合，而是使用普通搜索请求并将自定义脚本过滤器传递给请求。
  • 如果搜索已经定义了过滤器\查询条件，则使用逻辑 AND 运算符附加自定义过滤器。
  • 如果请求是以下是使用伪语法的示例： select * from myindex where file_hash = 'hash_value' 然后将自定义过滤器附加为：
    select * from myindex where file_hash = 'hash_value' AND AcceptDistinctDocumentScriptFilter(params= ['file_name', 'file_folder '])

对于分布式搜索，这很棘手，需要插件连接到 QUERY 阶段。更多细节在这里。

于 2015-01-30T12:22:50.377 回答