0

在这里，我试图从其他 web api 源收集数据。但是当我并行运行 4-5 个任务 fetch_page 时。

我收到“工人在服务请求时崩溃”

请建议我一些方法来摆脱这个问题。

我也收到大量来自 aiohttp.post 请求的数据响应，所以有时 write.write 方法无法将数据写入客户端

import asyncio
import aiohttp
import json
import re


def fetch_page(writer, url, data):
    response = yield from aiohttp.post(url,data=data)
    resp = yield from response.read_and_close() <== here some time i am getting "Worker crashed while servicing request" 
    writer.write(resp)  
    yield  # Yield to the event loop
    yield from writer.drain()
    return
4

0 回答 0