python - 使用 warcio 创建一个带有 requests.get() 响应的 warc 记录

Question

我正在使用该warcio库来读取和写入warc文件。

尝试从 写入响应对象的记录时requests.get(URL,stream=False)，warcio仅将 HTTP 标头写入记录，而不写入有效负载。但是，启用流模式后，它可以正常工作。

未启用流模式时，有没有办法存储有效负载？

Answer 1

我找到了一种解决方法，但不确定它是否正确。我没有使请求对象可流式传输，而是使有效负载可流式传输 BytesIO(response.text.encode())，这似乎可行。