我正在尝试使用 ruby 抓取特定 URL 的源数据。首先,我使用Net::http.new
创建 http 对象,然后使用http.post
传递适当的登录数据。这按预期工作并使用适当的会话 cookie 进行响应。
登录后,将会话 cookie 数据添加到标题中,然后我尝试访问我想要抓取的特定页面。服务器以 302 请求响应不同子域上的 aspx URL,并附带一个查询字符串,即。sub.domain.com/path/blah.aspx?md5=jdj456bnn
. 当我尝试使用与之前使用的相同技术加载该子域时,我遇到了一个未经授权的用户 302。有谁知道加载该重定位的正确方法,或者我在这里可能缺少什么?