3

我正在尝试返回过滤器查询的随机结果，以使我的所有文档都有公平的机会出现在第一页结果中。为了在重复搜索期间不让用户感到困惑（并轻松支持分页），结果应该在当天保持一致。

为此，我开发了以下脚本排序查询。它将文档 id（一个 guid，因此已经相当随机）与每日盐（只是一年中的某一天和当前年份相结合）结合起来，并对结果进行哈希处理以产生我期望的一个相当随机的字符串，它只会改变为“每日盐”每天都在变化（忽略此特定查询中的无关元素，它是从代码生成的）。

{
  "from": 0,
  "size": 20,
  "sort": {
    "_script": {
      "order": "asc",
      "type": "string",
      "script": "org.elasticsearch.common.Digest.md5Hex(dailySalt + doc['id'].value)",
      "params": {
        "dailySalt": "184-2013"
      }
    }
  },
  "query": {
    "filtered": {
      "query": {
        "match_all": {}
      },
      "filter": {
        "bool": {
          "must": [
            {
              "term": {
                "tag_id": "Some Tag"
              }
            },
            {
              "match_all": {}
            }
          ]
        }
      }
    }
  },
  "fields": [
    "id"
  ]
}

灵感来自这个类似的问题和答案

它有效，但不是很好。当我增加每日盐时，我得到的结果略有不同，但相同的文档不断出现在顶部结果周围。它们略有移动，但绝对有一个一致的模式。

我试图将散列函数更改为我发现的另一个： org.elasticsearch.cluster.routing.operation.hash.djb.DjbHashFunction.DJB_HASH 但它给出了与常见的顶级结果非常相似的结果。

我不是密码学专家，所以我认为这是常见散列函数的一种行为，并且必须有一些特殊的散列函数用于基于类似输入的更多随机结果？

有没有人熟悉 ElasticSearch 中的一个？我正在使用Searchbox.io（云托管弹性搜索服务），所以安装我自己的自定义函数不是一个选项。

还是我从一个完全错误的角度来解决这个问题？

编辑 我只是查看了脚本生成的结果排序键，似乎该脚本仅应用于结果的第一页，然后对该第一页进行排序（而不是应用于完整的结果集并因此更改第一页内的文件）。

这是我的第一页结果（为简洁起见进行了编辑）。但是您可以仅在第一页上看到排序键从 0c*** 到 fa*** 不等，对于前 0 到 20 个文档，总共约 200 个文档。

使用 'dailySalt' = 185-2013

{
"took": 2,
"timed_out": false,
"_shards": {
    "total": 1,
    "successful": 1,
    "failed": 0
},
"hits": {
    "total": 196,
    "max_score": null,
    "hits": [{
        "fields": {
            "id": "27662ef8-d2a7-4fde-80f6-1571b83c4cde"
        },
        "sort": ["0cbf8b4e7927f0a53a5b82f2630ff9ad"]
    }, {
        "fields": {
            "id": "d9b11797-053f-495e-a676-0ec959dba879"
        },
        "sort": ["0fa8730a5239f8a3d1286cbe16619bfa"]
    }, {
        "fields": {
            "id": "482c893f-1083-4860-892e-1b25cf442199"
        },
        "sort": ["295edd71cc48ac41c5e2f91315abf5ce"]
    }, {
        "fields": {
            "id": "581fd0f1-9ecb-4e5c-920b-06413bfbf4f7"
        },
        "sort": ["4b9f0d17bc2333d13a1963b4f6afb829"]
    }, {
        "fields": {
            "id": "de3dddb8-e296-4446-ac4c-135cc925669d"
        },
        "sort": ["4c5d0bcb50f5b600e539ba46b33b1007"]
    }, {
        "fields": {
            "id": "c83ad22e-80b4-40f1-8e56-2153a1a1f9e8"
        },
        "sort": ["55efe0a692ab3205405f1c74732b8205"]
    }, {
        "fields": {
            "id": "7bd19829-4f37-4e02-9fd1-0239b8ae8db4"
        },
        "sort": ["5adcd22c7c507244d7ba382812accdf3"]
    }, {
        "fields": {
            "id": "42fcec43-851f-4133-a8db-1d2bf0b86ec8"
        },
        "sort": ["6757f46bd554e3353a2ebf35c6b3d24c"]
    }, {
        "fields": {
            "id": "e119132b-4e93-4047-8513-1ce2452f0cdd"
        },
        "sort": ["6dbcb59a2b5e91523896d57695251b29"]
    }, {
        "fields": {
            "id": "7d0acf5d-7c14-45a2-97b7-17939ff512f4"
        },
        "sort": ["9d99752ec0802e55dcfb3c83bcd2e4bb"]
    }, {
        "fields": {
            "id": "2cdc21e4-3312-460b-9a18-094e4f95a56c"
        },
        "sort": ["9dc43d1d39e64cfe04c6d7b8f565faaa"]
    }, {
        "fields": {
            "id": "0f665cb3-5648-416c-b08f-146d2a019319"
        },
        "sort": ["b61bb718fe63a287b6fcdc8bcd638604"]
    }, {
        "fields": {
            "id": "1e852d49-2b3b-4d7a-9f1b-1495b94e723e"
        },
        "sort": ["ba7ad8a3a6e195a6bc28e341f9d6965b"]
    }, {
        "fields": {
            "id": "ca2a5922-bb42-4317-b61c-129925436a1f"
        },
        "sort": ["bca0411cf8d67b4dcd5b205a5010367f"]
    }, {
        "fields": {
            "id": "b1dac760-7d73-4b60-bd6d-08ea9453e68c"
        },
        "sort": ["be3714cfb2517e98d525aaea6e40cfa5"]
    }, {
        "fields": {
            "id": "c4b08def-59db-4ac0-b16f-0c3fae4c01f2"
        },
        "sort": ["c4220b31c305d536c7a7d1639da32c66"]
    }, {
        "fields": {
            "id": "cc7ac1fd-3e88-4503-a837-2000ebb6e2d9"
        },
        "sort": ["ceb5710fe2418fe3b353bf7b1f737570"]
    }, {
        "fields": {
            "id": "5a5f90c9-b44f-4ca2-9d16-117c8e9fd388"
        },
        "sort": ["dc5fea76598633cb08c1459983ebca62"]
    }, {
        "fields": {
            "id": "6d811d5b-4138-4a41-a186-1b9aa2b65623"
        },
        "sort": ["ea3c55ac123ac9e819b145402407d1de"]
    }, {
        "fields": {
            "id": "b489d2da-b4a1-44de-acde-219109edd42f"
        },
        "sort": ["fab53cc11983b45b081d4b01df555c59"]
    }]
}
}
4

2 回答 2

2

MD5 是一种加密散列函数，此类函数表现出一种称为雪崩效应的特性。简而言之，即使输入的微小变化也会完全改变输出。例如，您可以使用在线 MD5 计算器对此进行试验。

也没有机会发生冲突——即使你一生都在寻找它们，你也不会找到两个哈希值相同的字符串。

这两个属性保证您编写的脚本每天永远为每个文档生成一个唯一的随机值。哈希函数不是这里的问题。

有多少文件？每页显示多少个结果？看到什么样的模式？某个文档随机出现在首页上的可能性非常大。

于 2013-07-03T10:31:51.977 回答
2

所以看起来这是 Elastic Search 的脚本排序的问题。它只是将脚本应用于第一页结果，然后只对第一页进行排序。我在任何地方都找不到这种行为，因此出于性能原因不确定它是错误还是设计。

无论如何，使用custom_score查询，以及类似的 score 函数脚本，给出了所需的结果（由于速度，我使用 DJB 哈希而不是原始 MD5，专为字符串设计，并返回自定义得分脚本所需的 int）：

{
  "from": 0,
  "size": 20,
  "query": {
    "custom_score": {
      "script": "org.elasticsearch.cluster.routing.operation.hash.djb.DjbHashFunction.DJB_HASH(dailySalt + doc['id'].value)",
      "params": {
        "dailySalt": "185-2013"
      },
      "query": {
        "filtered": {
          "query": {
            "match_all": {}
          },
          "filter": {
            "bool": {
              "must": [
                {
                  "term": {
                    "tag_id": "Some Tag"
                  }
                },
                {
                  "match_all": {}
                }
              ]
            }
          }
        }
      }
    }
  },
  "fields": [
    "id"
  ]
}
于 2013-07-04T10:44:07.423 回答