3

我正在运行一个爬虫，它在 MAC 和 Ubuntu 系统中运行良好。当我在 Windows 中运行它时，它会导致以下堆栈跟踪：

  File "build\bdist.win32\egg\mechanize\_mechanize.py", line 203, in open
    return self._mech_open(url, data, timeout=timeout)
  File "build\bdist.win32\egg\mechanize\_mechanize.py", line 230, in _mech_open
    response = UserAgentBase.open(self, request, data)
  File "build\bdist.win32\egg\mechanize\_opener.py", line 193, in open
    response = urlopen(self, req, data)
  File "build\bdist.win32\egg\mechanize\_urllib2_fork.py", line 344, in _open
    '_open', req)
  File "build\bdist.win32\egg\mechanize\_urllib2_fork.py", line 332, in _call_chain
    result = func(*args)
  File "build\bdist.win32\egg\mechanize\_urllib2_fork.py", line 1170, in https_open
    return self.do_open(conn_factory, req)
  File "build\bdist.win32\egg\mechanize\_urllib2_fork.py", line 1118, in do_open
    raise URLError(err)
URLError: <urlopen error [Errno 10060] A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond>
4

2 回答 2

5

我非常怀疑问题是否与您的系统有关。为了解决这个问题，我建议：

  1. 检查您的机械化版本。旧版本可能会以不同方式处理请求。
  2. 调查set_handle_robots和addheaders。问题可能与每个 IP 的请求过多有关。（我怀疑这是真正的问题。）
  3. 检查错误处理。就像上面评论中描述的那样，无论如何您都应该添加适当的错误处理。

如果上述解决方案均无效，请提供导致错误的代码。

于 2016-03-31T20:14:24.387 回答
1

从错误中我推断您尝试连接的服务器不允许您的连接。

尝试使用telnet仔细检查您可以连接到URL/IP:PORT您请求的：

telnet <ip> <port>

PS：以防万一，不要使用 ping 检查连接性，因为您没有测试端口。

于 2016-04-06T10:53:27.537 回答