ruby - 运行 Ruby Anemone 时 Heroku H12 请求超时

Question

我有一个托管在 Heroku 上的 Ruby 应用程序，它在用户指定的域上运行 Anemone（Ruby 网络蜘蛛/爬虫）。当用户选择中型到大型域时，它会崩溃并且日志显示 H12 错误（请求超时）。

这是因为 Anemone 需要一段时间才能运行（>30 秒），并且在运行时没有反馈给用户。有没有办法让 Anemone 向用户显示更新，或者合并状态栏？有什么方法可以防止网站崩溃？我在 Anemone 文档中没有看到任何允许“逐段”爬取域的方法，但我必须做些什么。

https://devcenter.heroku.com/articles/error-codes#h12-request-timeout
http://anemone.rubyforge.org/

Answer 1

您可以在后台运行它并在它准备好时向用户发送警报吗？我过去曾使用过delayed_jobs 和sidekiq 来处理类似的事情。看看一些背景工作宝石。