我将 Typhoeus 与 Hydra 一起使用以发出并行请求。我的最终目标是将台风响应解析为机械化对象。
url = "http://example.com/"
hydra = Typhoeus::Hydra.new
agent = Mechanize.new
request = Typhoeus::Request.new(url, :method => :get, :proxy => "#{proxy_host}:#{proxy_port}")
request.on_complete do |response| #Typhoeus::response object
body = response.body
uri = request.parsed_uri
page = agent.parse(uri, response, body)
end
hydra.queue(request)
hydra.run
agent.parse 方法给了我错误,因为它无法解析 typhoeus 响应对象
/usr/local/rvm/gems/ruby-1.9.3-p194/gems/mechanize-2.5.1/lib/mechanize.rb:1165:in `parse': undefined method `[]' for #<Typhoeus::Response:0x00000012cd9da0> (NoMethodError)
无论如何我可以将 Typhoeus 响应转换为 Net::HTTPResponse 对象吗?或者有没有其他方法可以将 Mechanize 和 Typhoeus 组合在一起?这样,我可以使用 typhoeus 发出并行请求,并使用 Mechanize 库抓取数据。