1

我有一些如下所示的 python 代码：

import urllib3
http = urllib3.PoolManager(cert_reqs='CERT_NONE')
...
full_url = 'https://[%s]:%d%s%s' % \
            (address, port, base_uri, relative_uri)
kwargs = {
    'headers': {
        'Host': '%s:%d' % (hostname, port)
    }
}

if data is not None:
    kwargs['body'] = json.dumps(data, indent=2, sort_keys=True)

# Directly use request_encode_url instead of request because requests
# will try to encode the body as 'multipart/form-data'.
response = http.request_encode_url('POST', full_url, **kwargs)
log.debug('Received response: HTTP status %d. Body: %s' %
          (response.status, repr(response.data)))

我有一个日志行，在发出请求的代码之前打印一次，并且该log.debug('Received...')行打印一次。但是，在服务器端，我偶尔会看到两个请求（它们都是此代码块发送的同一个 POST 请求），相隔大约 1-5 秒。在这种情况下，事件的顺序如下：

  1. 从 python 客户端发送的一个请求
  2. 收到第一个请求
  3. 收到第二个请求
  4. 第一个响应发送状态为 200 和一个指示成功的 http 实体
  5. 发送第二个响应，状态为 200，http 实体指示失败
  6. Python 客户端收到第二个响应

我试图通过在服务器中休眠来可靠地重现它（猜测可能存在导致重试的超时），但没有成功。我相信服务器上不太可能发生重复，因为它只是一个基本的 Scala Spray 服务器，在其他客户端上还没有看到。查看 的源代码PoolManager，我找不到任何包含重试的地方。有一种用可选参数指定的重试机制，但在上面的代码中没有使用这个可选参数。

有谁知道这个额外请求可能来自哪里？

编辑：@shazow 给出了一个关于retries默认值为 3 的指针，但我按照建议更改了代码并收到以下错误：

Traceback (most recent call last):
  File "my_file.py", line 23, in <module>
    response = http.request_encode_url('GET', full_url, **kwargs)
  File "/usr/lib/python2.7/dist-packages/urllib3/request.py", line 88, in request_encode_url
    return self.urlopen(method, url, **urlopen_kw)
  File "/usr/lib/python2.7/dist-packages/urllib3/poolmanager.py", line 145, in urlopen
    conn = self.connection_from_host(u.host, port=u.port, scheme=u.scheme)
  File "/usr/lib/python2.7/dist-packages/urllib3/poolmanager.py", line 119, in connection_from_host
    pool = self._new_pool(scheme, host, port)
  File "/usr/lib/python2.7/dist-packages/urllib3/poolmanager.py", line 86, in _new_pool
    return pool_cls(host, port, **kwargs)
TypeError: __init__() got an unexpected keyword argument 'retries'`

编辑#2：以下更改kwargs似乎对我有用：

import urllib3
http = urllib3.PoolManager(cert_reqs='CERT_NONE')
...
full_url = 'https://[%s]:%d%s%s' % \
            (address, port, base_uri, relative_uri)
kwargs = {
    'headers': {
        'Host': '%s:%d' % (hostname, port)
    },
    'retries': 0
}

if data is not None:
    kwargs['body'] = json.dumps(data, indent=2, sort_keys=True)

# Directly use request_encode_url instead of request because requests
# will try to encode the body as 'multipart/form-data'.
response = http.request_encode_url('POST', full_url, **kwargs)
log.debug('Received response: HTTP status %d. Body: %s' %
          (response.status, repr(response.data)))
4

1 回答 1

1

urllib3 有一个默认的重试配置，相当于Retry(3). 要完全禁用重试，您需要retries=False在构建池或发出请求时通过。

像这样的东西应该可以工作，例如：

import urllib3
http = urllib3.PoolManager(cert_reqs='CERT_NONE', retries=False)
...

默认重试设置（如此处所定义）绝对可以更好地记录，如果您愿意，我将不胜感激。:)

于 2015-01-23T00:29:39.723 回答