python - Python urlopen 连接中止 - urlopen 错误 [Errno 10053]

Question

我有一些代码使用 mechanize 和 beautifulsoup 来抓取一些数据。该代码在测试机器上运行良好，但生产机器阻止了连接。我得到的错误是：

urlopen error [Errno 10053] An established connection was aborted by the software in your host machine

我已经阅读了类似的帖子，但我找不到这个确切的错误。我试图抓取的站点是 HTTPS，但我也遇到了与 HTTP 站点相同的错误。我正在使用 python 2.6 和机械化 0.2.4。

这是由于代理，还是如错误所说，我的本地机器上的某些东西？我已经写了 mechanize 以使用系统的代理：

br = mechanize.Browser()
br.addheaders = [('User-agent', 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1')]
br.set_proxies({}) #will use system default proxy
page = br.open(url)
html = page.read()
soup = BeautifulSoup.BeautifulSoup(html)

同样，这一切都适用于我的测试机器，但生产机器给出了错误 10053。

Answer 1

这里的问题是基于主机的 IDS 阻止了连接。问题解决了。

我将我的 python 脚本添加到 HIDS 例外列表中。例外列表是我允许连接到互联网的文件列表。一旦它被添加到列表中，我就能够通过脚本获得网络连接，并且没有其他问题。测试机器没有安装 HIDS 客户端，所以它允许我说出来。仅供参考，两者都有防火墙，但只有一台（生产机器）有 HIDS。

HIDS 代表基于主机的入侵检测系统。如果网络安全团队让您看不到 HIDS，您可能不知道在哪里可以找到它。此外，即使您找到它，您也无法禁用它。您可以询问您的安全团队是否可以为您的脚本添加例外。绕过 HIDS 的另一种偷偷摸摸的方法是将您的脚本构建为一个 exe（使用 Py2EXE）并将您创建的可执行文件重命名为 HIDS 例外列表中已有的内容。将其重命名为您的浏览器是一个不错的选择，因此如果允许 Firefox 访问 Internet，请将您的 exe 重命名为 firefox.exe。