python-3.x - aiohttp中request.iter_content()的等效方法是什么？

Question

我正在编写一个小型网络爬虫，它从特定站点获取大量图像。但是，IO 速度很慢，所以我搜索了一下，发现 asyncio 和 aiohttp 可以处理 IO 绑定操作开销。我梳理了 aiohttp 文档，但在 requests 模块中找不到任何看起来可以替代 iter_content() 的函数。我需要它将图像数据写入磁盘。任何人都可以帮忙吗？

Answer 1

您应该使用该ClientResponse.content属性。它是一个StreamReader实例，可用于增量读取响应。从文档：

with open(filename, 'wb') as fd:
    while True:
        chunk = await r.content.read(chunk_size)
        if not chunk:
            break
        fd.write(chunk)

StreamReader还支持异步迭代：

async for line in r.content:
    ...
async for chunk in r.content.iter_chunked(1024):
    ...
async for slice in r.content.iter_any(): # as much as possible before blocking
    ...