3

我正在使用 Net::HTTP 处理 HTTP 请求并得到响应：

uri = URI("http://www.example.com")
http = Net::HTTP.start(uri.host, uri.port, proxy_host, proxy_port)
request = Net::HTTP::Get.new uri.request_uri
response = http.request request # Net::HTTPResponse object
body = response.body

如果我必须使用 Nokogiri gem 来解析这个 HTML 响应，我会这样做：

nokogiri_obj = Nokogiri::HTML(body)

但如果我想使用 Mechanize gem，我需要这样做：

agent = Mechanize.new
mechanize_obj = agent.get("http://www.example.com")

我是否可以使用 Net::Http 获取 HTML 响应，然后使用 Mechanize gem 将其转换为 Mechanize 对象而不是使用 agent.get()？

编辑：

绕过该agent.get()方法的原因是因为我试图用来EventMachine::Iterator发出并发EM-HTTP请求。

EventMachine.run do
  EM::Iterator.new(urls, 3).each do |url,iter|
    puts "giving   #{url}   to httprequest now"
    http = EM::HttpRequest.new(url).get
    http.callback { |resp|
      uri = resp.send(:URI, url)
      puts "inside callback of #{url}"
      body = resp.response
      page = agent.parse(uri, resp, body)
    }
    iter.next
  end
end

但它不起作用。我收到一个错误：

/usr/local/rvm/gems/ruby-1.9.3-p194/gems/mechanize-2.5.1/lib/mechanize.rb:1165:in`parse': undefined method `[]' for #<EventMachine::HttpClient:0x0000001c18eb30> (NoMethodError)

当我使用该parse方法时，Net::HTTP它工作正常，我得到了 Mechanize 对象：

 uri = URI("http://www.example.com")
 http = Net::HTTP.start(uri.host, uri.port, proxy_host, proxy_port)
 request = Net::HTTP::Get.new uri.request_uri
 response = http.request request # Net::HTTPResponse object
 body = response.body
 agent = Mechanize.new
 page = agent.parse(uri, response, body)

我parse在使用 em-http 时是否为该方法传递了错误的参数？

4

2 回答 2

3

我不确定您为什么认为使用 Net::HTTP 会更好。Mechanize 将处理重定向和 cookie，并提供对 Nokogiri 已解析文档的随时访问。

require 'mechanize'

agent = Mechanize.new
page = agent.get('http://www.example.com')

# Use Nokogiri to find the content of the <h1> tag...
puts page.at('h1').content # => "Example Domains"

请注意，user_agent无需设置 即可访问 example.com。

如果您想使用线程引擎来检索页面，请查看Typhoeous 和 Hydra。

于 2012-08-21T06:24:49.187 回答
1

看起来Mechanize有一个parse方法，所以这可以工作：

mechanize_obj = Mechanize.parse(uri, response, body)
于 2012-08-21T01:20:08.710 回答