我目前正在尝试在一小部分网站中执行深度爬网。为了做到这一点，我更新conf/domain-urlfilter.txt了我希望抓取的网站的域，效果很好。但是，我发现不仅在每一步爬取的链接都被过滤掉了，而且从每个爬取的页面中捕获的外链也被过滤掉了。
有没有办法在过滤抓取的 URL 的同时避免过滤捕获的外链？
问问题
201 次
我目前正在尝试在一小部分网站中执行深度爬网。为了做到这一点，我更新conf/domain-urlfilter.txt了我希望抓取的网站的域，效果很好。但是，我发现不仅在每一步爬取的链接都被过滤掉了，而且从每个爬取的页面中捕获的外链也被过滤掉了。
有没有办法在过滤抓取的 URL 的同时避免过滤捕获的外链？