0

使用 Storm Crawler 1.12.1 和 Elastic search 6.5.x。我的爬虫正在运行http://localhost:8080，弹性搜索正在运行。https://localhost:9200我正在尝试爬取网站。在 URL 注入过程中，我遇到了javax.net.ssl.SSLHandshakeException: General SSLEngine problem错误并在此处查看详细错误。

我尝试了 OKHttp 并添加https.protocol.implementation: "com.digitalpebble.stormcrawler.protocol.okhttp.HttpProtocol"到 crawler-conf.yaml 中。

如何暂时关闭证书验证。

4

1 回答 1

1

正如@julien-nioche 在他的评论中指出的那样：StormCrawler在 URL 注入过程中不获取。

最SSLHandshakeException有可能来自您的 ElasticSearch 实例。您的 ElasticSearch 是否真的HTTPS如 所示运行https://localhost:9200？

堆栈跟踪指示无法验证证书路径。

Caused by: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target

要解决此问题，您可以将证书添加到本地密钥库。有关此主题的详细信息，您可以查看此答案。另一种可能性是HTTPS为您的本地开发设置禁用 ElasticSearch 实例。

于 2019-01-16T13:38:18.443 回答