0

ElasticSearch 摄取管道可以使用搜索模板作为其脚本吗？

具体来说，我想配置一个摄取管道，以便每当进入特定类型的数据时，我们会在 ElasticSearch 中查询一些相关数据，并根据结果在原始数据上填充一个（或多个字段），然后再加载它在。

我看到摄取管道可以使用脚本（https://www.elastic.co/guide/en/elasticsearch/reference/master/script-processor.html），并且脚本可以包含搜索模板（https://www. elastic.co/guide/en/elasticsearch/reference/master/modules-scripting-using.html），但我无法找到有关可能将两者结合起来的任何信息。

4

2 回答 2

2

实际上，您要求的功能是通过新的丰富处理器在 7.5 中提供的，该处理器提供索引时间 JOIN 功能。

主要思想是设置一个丰富策略，将来自相关索引的数据源到一个新的“丰富索引”中，然后您可以使用丰富处理器在摄取管道中利用该“丰富索引”，以丰富您的文档相关领域。

因此，无需过多详细说明，以下是它在实践中的工作方式：

  1. A您有一个包含字段 ( a, b, c, )的索引d，您想使用它来丰富传入的文档
  2. 您根据该索引A和“加入”字段定义丰富策略a
  3. 您定义了一个带有丰富处理器的摄取管道，它将尝试将z传入文档的字段A.a与丰富索引的字段进行匹配
  4. 如果找到匹配项，您的传入文档将获得 fields b，c并d从 index A。请注意，它还将获得匹配字段 a ，remove如果需要，您可以使用处理器将其删除。

这几乎是你所期望的。你可以在这里找到一个完整的例子。一开始，它将适用于精确匹配（即term查询）和地理匹配（即geo_shape查询），但它们可能会在不久的将来添加新类型的匹配（如range匹配）。

于 2019-11-26T08:52:36.253 回答
0

所以ingest script管道已经是您正在寻找的组合，您应该使用该选项，在这里if阅读它。

您的管道应如下所示：

{
    "script": {
        "if": "ctx.type == 'thisType'",
        "source": """
                  //calculation here
                  ctx.newField = value;
                  """
    }
}

我建议您在创建管道后使用模拟对其进行测试，因为它会让您的生活更轻松。

编辑：

感谢@val，它消除了我的一些困惑。所以你不能真正做你想做的事，但我建议你阅读有关丰富管道的信息。通过一些设置，您也许可以实现它。

于 2019-11-25T08:49:41.980 回答