web-crawler - 打开搜索服务器设置超时

Question

我在 OpenSearchServer 中使用网络爬虫，在爬取时，它在操作过程中卡住了Extracting url list。完成会话时，它有时也会卡住。无论如何设置时间限制或超时，以便在某些事情运行时间过长时中止？

Answer 1

我想您正在使用默认的 Web 模板。在这种情况下，每次爬网会话结束时，OpenSearchServer 都会构建自动完成索引，即使您中止了会话。

为避免这种情况，请进入面板“/Crawler/Web/Crawl process”并选择空白作业。