python-2.7 - 检查 500 错误以绕过

Question

我使用 Scrapy 框架来抓取数据。如果遇到 500 错误，我的爬虫将被中断。所以我需要在解析网页内容之前检查一个可用的链接。
有什么方法可以解决我的问题吗？
非常感谢。

Answer 1

如果 url 存在，您可以使用 urllib 的 getcode() 方法来检查它：

import urllib
import sys

webFile = urllib.urlopen('http://www.some.url/some/file')
returnCode = webFile.getCode()

if returnCode == 500:
  sys.exit()

# in other case do something.