我正在尝试通过 Central Admin 为使用 Search Server Express 2010 的非 SharePoint 网站创建爬网规则。
如果我上传 cookie,爬网完成后我会收到错误消息,提示参数无效。我不确定 cookie 文件应该是什么格式,但是我尝试过的各种格式都提供了这个错误,我无法在线找到预期的格式。有人可以提供正确格式的链接吗?
如果我尝试指定一个 URL 来获取 cookie,我会在 IE8 中收到以下 JS 错误。
“访问被拒绝 FormsAuthenticationProxyPage.aspx 第 138 行。”
如果用户代理与爬虫匹配,我还尝试在站点的服务器端代码上设置 cookie,但这也无法正常工作。当爬虫爬行时,cookie 可能不会被存储/传回。
任何帮助表示赞赏,谢谢。