我正在实现一个需要抓取网站的工具。我正在使用 anemone 进行爬网,并且在每个 anemone 的页面上,我使用boilerpipe 和 Nokogiri 来管理 HTML 格式等。
我的问题是:如果我得到 500 Internal Server Error,它会使 Nokogiri 失败,因为没有页面。
Anemone.crawl(name) do |anemone|
anemone.on_every_page do |page|
if not (page.nil? && page.not_found?)
result = Boilerpipe.extract(page.url, {:output => :htmlFragment, :extractor => :ArticleExtractor})
doc = Nokogiri::HTML.parse(result)
end
end
end
在上述情况下,如果出现 500 Internal Server Error,应用程序将在 Nokogiri::HTML.parse() 上给出错误。我想避免这个问题。如果服务器给出错误,我想忽略此页面继续计算。
有什么方法可以使用这些工具处理 500 Internal Server Error 和 404 Page Not Found?
亲切的问候,雨果