我需要索引我公司的员工手册,该手册托管在外部网站上。此页面需要登录,并支持通过查询字符串参数自动登录。
像这样:http ://manual.externalprovider.com?token=xxxxxxxxx
在我的内容源中输入此 URL 时,我没有得到任何结果和以下警告:
由于以下原因之一而未爬取项目: 预防性爬取规则;超出指定的内容源跃点/深度;URL 有查询字符串参数;未找到所需的协议处理程序;预防性机器人指令。(该项目已被删除,因为它已被爬网规则排除。)
是否无法爬取起始地址中有查询字符串参数的内容?关于如何解决这个问题的任何其他建议?