我正在编写一个 webspider 并将其分配到 Heroku 上,在主要参与者(分配路由器的那个)达到 512Mb 之后它崩溃了。
基本上每个解析的 URL 都会发送到 FetchRouter。队列的消息列表太大而无法进入内存。
有没有办法将此列表存储在磁盘中?
fetcherRouter = context.actorOf(Props[URLFetcher].withRouter(RandomRouter(30)), name = "fetcherRouter")
我正在编写一个 webspider 并将其分配到 Heroku 上,在主要参与者(分配路由器的那个)达到 512Mb 之后它崩溃了。
基本上每个解析的 URL 都会发送到 FetchRouter。队列的消息列表太大而无法进入内存。
有没有办法将此列表存储在磁盘中?
fetcherRouter = context.actorOf(Props[URLFetcher].withRouter(RandomRouter(30)), name = "fetcherRouter")