1

我需要截取一堆页面并使用 ActiveRecord 将它们存储在数据库中。我在使用 EventMachine 和 Typhoeus 时搞砸了，但我得到了不稳定的结果，大部分是神秘的空记录被保存了。

有什么诀窍？我在抓取页面并将它们写入磁盘，然后将它们插入数据库中获得了最好的结果，但我真的很想一次性完成。

有人成功做到这一点吗？

4

1 回答 1

1

我的猜测是您的线程正在共享 AR 连接。这将导致问题，并且无论如何并发不会更快地将记录输入您的数据库。我建议您同时下载并将它们插入单个线程（就像您一直在做的那样。）

于 2012-07-26T03:09:01.557 回答