python - Python-请求关闭 http 连接

Question

我想知道，你如何关闭与请求（python-requests.org）的连接？

有了httplib它HTTPConnection.close()，但我如何对请求做同样的事情？

代码：

r = requests.post("https://stream.twitter.com/1/statuses/filter.json", data={'track':toTrack}, auth=('username', 'passwd'))
for line in r.iter_lines():
    if line:
        self.mongo['db'].tweets.insert(json.loads(line))

Answer 1

我认为关闭连接的更可靠方法是明确告诉服务器以符合 HTTP 规范的方式关闭它：

HTTP/1.1 为发送者定义了“关闭”连接选项，以发出响应完成后连接将被关闭的信号。例如，

   Connection: close

在请求或响应标头字段中表示在当前请求/响应完成后，连接不应被视为“持久”（第 8.1 节）。

标Connection: close头被添加到实际请求中：

r = requests.post(url=url, data=body, headers={'Connection':'close'})

Answer 2

我来这个问题是为了解决这个问题"too many open files" error，但我requests.session()在我的代码中使用。几次搜索后，我在Python 请求文档上找到了一个答案，该答案建议使用该with块，以便即使存在未处理的异常也关闭会话：

with requests.Session() as s:
    s.get('http://google.com')

如果你不使用 Session 你实际上可以做同样的事情：https ://2.python-requests.org/en/master/user/advanced/#session-objects

with requests.get('http://httpbin.org/get', stream=True) as r:
    # Do something

Answer 3

正如这里所讨论的，实际上并没有 HTTP 连接之类的东西，httplib 所指的 HTTPConnection 实际上是底层 TCP 连接，它根本不了解您的请求。请求将其抽象出来，您将永远看不到它。

最新版本的 Requests 实际上确实在您发出请求后保持 TCP 连接处于活动状态。如果您确实希望关闭 TCP 连接，您可以将请求配置为不使用keep-alive。

s = requests.session()
s.config['keep_alive'] = False

Answer 4

请使用response.close()关闭以避免“打开的文件过多”错误

例如：

r = requests.post("https://stream.twitter.com/1/statuses/filter.json", data={'track':toTrack}, auth=('username', 'passwd'))
....
r.close()

Answer 5

在 Requests 1.X 上，连接在响应对象上可用：

r = requests.post("https://stream.twitter.com/1/statuses/filter.json",
                  data={'track': toTrack}, auth=('username', 'passwd'))

r.connection.close()

Answer 6

这对我有用：

res = requests.get(<url>, timeout=10).content
requests.session().close()

Answer 7

要删除请求中的“keep-alive”标头，我只是从 Request 对象创建它，然后使用 Session 发送它

headers = {
'Host' : '1.2.3.4',
'User-Agent' : 'Test client (x86_64-pc-linux-gnu 7.16.3)',
'Accept' : '*/*',
'Accept-Encoding' : 'deflate, gzip',
'Accept-Language' : 'it_IT'
}

url = "https://stream.twitter.com/1/statuses/filter.json"
#r = requests.get(url, headers = headers) #this triggers keep-alive: True
s = requests.Session()
r = requests.Request('GET', url, headers)

Answer 8

根据最新的请求（2.25.1），requests.<method>默认关闭连接

with sessions.Session() as session:
    return session.request(method=method, url=url, **kwargs)

https://github.com/psf/requests/blob/master/requests/api.py#L60

因此，如果您使用最新版本的请求，似乎我们不需要自己关闭连接。

此外，如果您需要使用同一会话发送多次请求，最好使用requests.Session()而不是多次打开/关闭连接。前任：

with requests.Session() as s:
    r = s.get('https://example.org/1/')
    print(r.text)
    r = s.get('https://example.org/2/')
    print(r.text)
    r = s.get('https://example.org/3/')
    print(r.text)