3

我的代码python3.8

布罗特里=1.0.9

使用请求获取 url，标题使用 Accept-Encoding="br" 我需要使用解码 br，因为我认为使用 accept-encoding=br 更好

import brotli
import requests 
headers = {}
headers['Accept'] = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9"
headers['Accept-Encoding'] = "gzip, deflate, br"
headers['Host'] = "book.douban.com"
headers['Referer'] = "book.douban.com"
headers['Sec-Fetch-Dest'] = "document"
headers['Sec-Fetch-Mode'] = "navigate"
headers['Upgrade-Insecure-Requests'] = "1"

s=requests.Session()
url="https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4"
try:
    response = s.get(url, headers=headers)
except:
    return ""
if response.status_code == 200:
    print(response.headers)
    if response.headers.get('Content-Encoding') == 'br':
        data = brotli.decompress(response.content)
        data1 = data.decode('utf-8')
        return data1
    else:
        return response.text
return ""

引发错误

data = brotli.decompress(response.content)
brotli.error: BrotliDecompress failed
4

1 回答 1

5

这在请求的文档中没有提到，但是一旦安装了brotli，它就直接由 Requests 处理。

这意味着 response.content 将被自动解码（类似于 gzip）。你不需要做brotli.decompress(response.content)

如果未安装 brotli，您将不会收到任何错误消息。相反， response.content 将保持编码...

编辑：

挖掘 Requests 代码，我发现 Requests 使用 urllib3.response 实现了 Brotli 的使用。

加载后，urllib3.response 将查找 Brotli 的导入：

try:
    import brotli
except ImportError:
    brotli = None

然后在解码响应时，它将使用适当的解码器：

def _get_decoder(mode):
    if "," in mode:
        return MultiDecoder(mode)

    if mode == "gzip":
        return GzipDecoder()

    if brotli is not None and mode == "br":
        return BrotliDecoder()

    return DeflateDecoder()

因此，如果安装了 Brotli，将进行解码，否则不会发生任何事情，也不会向用户发出警告。

edit2 其实这个在https://docs.python-requests.org/en/latest/user/quickstart/#binary-response-content有提到

于 2020-11-02T22:11:24.917 回答