我正在尝试抓取一个网站,但我需要使用代理才能不被禁止。
proxies.each do |proxy|
proxy.delete '""'
break if @doc = Nokogiri::HTML(open(pre, :proxy => proxy )) rescue nil
end
我在proxies
数组中有一个工作代理列表。pre
是网址。我没有从这段代码中得到回应,只是零。如果我用下面的代码替换它,它可以工作,但它有 IP 禁令的风险:
doc = Nokogiri::HTML(open(pre))
有什么想法吗?