0

我为某些文本生成了一个 minhash 字段（基于 minhash 算法），现在我的问题是，是否可以用通配符以某种方式补充或添加前缀查询？因为问题是，散列字符串值基于带状疱疹/令牌的内容（文本）位置。所以前几个字符（前缀）可能并不总是完全匹配相似的内容。是否可以在查询的前缀前添加通配符，例如 *3AF8659GJ？

编辑：我想我对这个问题的思考不够深入。哈希差异可以在哈希字符串中的任何位置（基于文本差异的内容位置的文本差异）。所以我猜“最好”的唯一方法是编辑距离和一些阈值。

例如，将所有哈希放入一个数组中并按词法顺序对它们进行排序（或者你将如何对十六进制字符串进行排序？）然后你只比较下一个 k 文档直到达到编辑距离阈值，并将重复项放在一个单独的数组中..

4

1 回答 1

1

出于性能原因，非常不鼓励按后缀搜索，如官方文档中所述：

为了防止非常慢的通配符查询，通配符项不应以通配符 * 或 ?

仍然有一种方法可以通过使用精巧的分析器来实现您想要的。这个想法是只索引 minhash 的结尾。您可以如下所述实现它。

首先，使用以下分析器创建索引：

PUT minhash-index
{
  "settings": {
    "index": {
      "analysis": {
        "analyzer": {
          "suffix": {
            "type": "custom",
            "tokenizer": "keyword",
            "filter": [
              "lowercase",
              "reverse",
              "substring",
              "reverse"
            ]
          }
        },
        "filter": {
          "substring": {
            "type": "edgeNGram",
            "min_gram": 1,
            "max_gram": 10
          }
        }
      }
    }
  },
  "mappings": {
    "doc": {
      "properties": {
        "minhash": {
          "type": "text",
          "analyzer": "suffix",
          "search_analyzer": "standard"
        }
      }
    }
  }
}

分析器的想法suffix是，它将为您投入索引的每个 minhash 索引长度为 1 到 10 的所有后缀（您可以决定索引更长的后缀）。

因此，例如，对于 minhash C50FD711C2C43287351892A4D82F44B055F048C46D2C54197AC1D1E921F11E6699C4057C4B93907518E6DCA51A672D3D3E419160DAE276CB7716D11B94D8C3BB2E4A591329B7AF973D17A7F9336342FFAAFD4D，它将索引以下所有后缀：

  • d
  • 4d
  • d4d
  • fd4d
  • afd4d
  • aafd4d
  • faffd4d
  • ffaafd4d
  • 2ffaafd4d
  • 42ffaafd4d

然后，您可以使用以下查询轻松搜索并找到上述 minhash：

POST minhash-index/_search
{
  "query": {
    "match": {
      "minhash": "42FFAAFD4D"
    }
  }
}
于 2019-03-28T12:19:32.643 回答