java - crawler4j 总是返回致命的传输错误

Question

这是我添加到 crawler4j 的任何种子所得到的。

ERROR [Crawler 1] Fatal transport error: Connection to http://example.com refused while fetching http://example.com/page.html (link found in doc #0)

这对我来说真的很奇怪。我不知道是什么原因造成的。

Answer 1

尝试增加爬虫的礼貌设置。当我要爬虫的服务器不好时，它总是发生在我身上。