python - 如果请求的数据有时被压缩，有时不被压缩，如何使用 pycurl？

Question

我这样做是为了获取一些数据：

c = pycurl.Curl()
c.setopt(pycurl.ENCODING, 'gzip') 
c.setopt(pycurl.URL, url)
c.setopt(pycurl.TIMEOUT, 10)   
c.setopt(pycurl.FOLLOWLOCATION, True)

xml = StringIO()

c.setopt(pycurl.WRITEFUNCTION, xml.write )

c.perform()
c.close()

我的网址通常是这样的：

http://host/path/to/resource-foo.xml

通常我会返回 302 指向：

http://archive-host/path/to/resource-foo.xml.gz

鉴于我设置了 FOLLOWLOCATION 和 ENCODING gzip，一切正常。

问题是，有时我的 URL 不会导致重定向到 gzip 压缩的资源。发生这种情况时，c.perform()会引发此错误：

pycurl.error: (61, 'Error while processing content unencoding: invalid block type')

这向我表明 pycurl 正在尝试对未压缩的资源进行压缩。

有什么方法可以指示 pycurl 找出响应编码，以及 gunzip 或不合适吗？我玩过使用不同的值ENCODING，但到目前为止还没有豆子。

pycurl 文档似乎有点缺乏。：/

谢谢！

Answer 1

如果最坏的情况发生，您可以省略 ENCODING 'gzip'，将 HTTPHEADER 设置为 {'Accept-Encoding' : 'gzip'}，检查“Content-Encoding: gzip”的响应标头，如果存在，将响应压缩你自己。