1

我正在使用 Stormcrawler 1.15、ElasticSearch 7.5，并按照本教程启动并运行 SC：https ://www.youtube.com/watch?v=KTerugU12TY

在我的 crawler-conf.yaml 中，我有：

  # indexer.md.filter: "someKey=aValue"
  indexer.url.fieldname: "url"
  indexer.text.fieldname: "content"
  indexer.canonical.name: "canonical"
  indexer.md.mapping:
  - parse.title=title
  - parse.keywords=keywords
  - parse.description=description
  - domain=domain

这表明我已经有了描述和关键字，但是到目前为止，我在“内容”索引的文档中获得了以下字段：url、内容、域、标题。例如：

{
  "_index": "content",
  "_type": "_doc",
  "_id": "c31104689b7ab4e8152f70b755049e7060da3457f06d64993667df28f7be6811",
  "_score": 1,
  "_source": {
    "content": "Startseite Gesetze / Verordnungen Aktualitätendienst [...]",
    "url": "http://www.gesetze-im-internet.de/markeng_8bek_00-03-27/index.html",
    "domain": "gesetze-im-internet.de",
    "title": "MarkenG§8Bek 00-03-27 - nichtamtliches Inhaltsverzeichnis"
  }
}

但我想获得更多信息，例如关键字、描述、创建日期、抓取日期。甚至可能是一个总结。

我怎样才能得到这些？

我可以使用此爬虫获得哪些其他值/字段？

我怎样才能在 ES 中获得它们？

我听说有一种方法可以让 SC 与 tika 一起更好地解析 html 和 pdf，这样也许我可以从爬取的页面中获取更多的数据和元数据。但我仍然不知道该怎么做。这方面的指南/教程会很好。

4

1 回答 1

0

确保解析过滤器的配置正确，如此处。可以对爬虫进行配置或扩展以提取几乎所有内容，请参阅WIKI以获取现有解析过滤器的列表。

与 JSOUP 相比，Tika 模块在 HTML 文档方面不会做得更好，但可以处理其他 mime 类型。请参阅该模块的 README 以了解如何使用它。

于 2019-12-24T12:34:27.050 回答