0

我正在编写一个 webspider 并将其分配到 Heroku 上,在主要参与者(分配路由器的那个)达到 512Mb 之后它崩溃了。

基本上每个解析的 URL 都会发送到 FetchRouter。队列的消息列表太大而无法进入内存。

有没有办法将此列表存储在磁盘中?

fetcherRouter = context.actorOf(Props[URLFetcher].withRouter(RandomRouter(30)), name = "fetcherRouter")
4

1 回答 1

1

确实。

FileBasedMailbox。查看 Akka 2.0.x PDF(或相应网页)的第 7.1 节“持久邮箱”。

于 2013-02-21T18:23:36.190 回答