10

我正在使用 urllib.request.urlopen() 从我正在尝试测试的 Web 服务中获取。

这将返回一个 HTTPResponse 对象，然后我使用 read() 来获取响应正文。

但我总是从 socket.py 中看到关于未关闭套接字的 ResourceWarning

这是相关的功能：

from urllib.request import Request, urlopen

def get_from_webservice(url):
    """ GET from the webservice  """
    req = Request(url, method="GET", headers=HEADERS)
    with urlopen(req) as rsp:
        body = rsp.read().decode('utf-8')
        return json.loads(body)

这是程序输出中出现的警告：

$ ./test/test_webservices.py
/Library/Frameworks/Python.framework/Versions/3.3/lib/python3.3/socket.py:359: ResourceWarning: unclosed <socket.socket object, fd=5, family=30, type=1, proto=6>
self._sock = None
.s
----------------------------------------------------------------------
Ran 2 tests in 0.010s

OK (skipped=1)

如果我可以对 HTTPResponse（或 Request？）做任何事情以使其干净地关闭其套接字，我真的很想知道，因为此代码用于我的单元测试；我不喜欢忽略任何地方的警告，尤其是不在那儿。

4

2 回答 2

5

我不知道这是否是答案，但它是答案的一部分。

如果我将标头“connection: close”添加到来自我的 Web 服务的响应中，HTTPResponse 对象似乎会正确清理自身而不会发出警告。

事实上，HTTP 规范 ( http://www.w3.org/Protocols/rfc2616/rfc2616-sec14.html ) 说：

不支持持久连接的 HTTP/1.1 应用程序必须在每条消息中包含“关闭”连接选项。

所以问题出在服务器端（即我的错！）。如果您无法控制来自服务器的标头，我不知道您能做什么。

于 2013-05-23T11:04:51.527 回答
1

我遇到了同样的问题，urllib3我只是添加了一个上下文管理器来自动关闭连接：

import urllib3

def get(addr, headers):
    """ this function will close the connection after a http request. """
    with urllib3.PoolManager() as conn:
        res = conn.request('GET', addr, headers=headers)
        if r.status == 200:
            return res.data
        else:
            raise ConnectionError(res.reason)

请注意，urllib3它旨在拥有一个连接池并为您保持连接活动。如果它需要发出一系列请求，例如很少调用后端 API，这可以显着加快您的应用程序的速度。

请urllib3在此处阅读有关连接池的文档：https ://urllib3.readthedocs.io/en/1.5/pools.html

PS你也可以使用requestslib，它不是 Python 标准库的一部分（2019 年），但非常强大且易于使用：http ://docs.python-requests.org/en/master/

于 2019-02-14T10:45:33.433 回答