1

我们正在尝试将网页的内容与 url、状态和元数据信息一起存储在Status Index中。

我们尝试编辑ES_IndexInit.sh并在 Status 的映射部分添加下一个属性：

"content": {
                "type": "text",
                "index": "true",
                "store": true
            }

但是在爬取过程之后我们在 Kibana 中看不到任何东西。

我们的猜测是，我们将不得不更改 Storm crawler 项目中的 Java 源代码，但不知道如何进行。

任何见解都会非常有帮助。先感谢您。

4

1 回答 1

0

内容通常存储在单独的索引中，状态索引主要用于调度 URL 并保存其元数据。它也可能对性能产生影响。

如果这是您想要继续的方式，您可以编写一个自定义 ParseFilter 来将文本内容存储在元数据中。像往常一样，您需要将用于存储文本的密钥添加到列出要保存在状态索引中的元数据的配置条目（metadata.persist）

于 2018-01-17T16:14:37.653 回答