15

我正在使用 rufus-scheduler 运行一些频繁的作业，这些作业使用 ActiveRecord 对象执行一些不同的任务。如果有任何类型的网络或 postgresql 打嗝，即使在恢复之后，所有线程都会抛出以下错误，直到进程重新启动：

ActiveRecord::ConnectionTimeoutError (could not get a database connection within 5 seconds (waited 5.000122687 seconds). 最大池大小当前为 5；考虑增加它。

通过重新启动 postgres 可以很容易地重现该错误。我试过玩（最多 15 个）池大小，但没有运气。

这让我相信连接只是处于陈旧状态，我认为通过调用clear_stale_cached_connections!.

有没有更可靠的模式来做到这一点？

传递的块是一个简单的选择和更新活动记录调用，并且恰好与 AR 对象是什么无关。

鲁弗斯工作：

scheduler.every '5s' do
  db do
    DataFeed.update  #standard AR select/update
  end
end

包装：

  def db(&block)
    begin
      ActiveRecord::Base.connection_pool.clear_stale_cached_connections!
      #ActiveRecord::Base.establish_connection    # this didn't help either way
      yield block
    rescue Exception => e
      raise e
    ensure
      ActiveRecord::Base.connection.close if ActiveRecord::Base.connection
      ActiveRecord::Base.clear_active_connections!
    end
  end
4

3 回答 3

15

Rufus 调度程序为每个作业启动一个新线程。另一方面，ActiveRecord 不能在线程之间共享连接，因此它需要将连接分配给特定的线程。

当您的线程还没有连接时，它将从池中获取一个。（如果池中的所有连接都在使用中，它会等到另一个线程返回一个。最终超时并抛出 ConnectionTimeoutError）

完成后将其返回池是您的责任，在 Rails 应用程序中，这是自动完成的。但是，如果您要管理自己的线程（如 rufus 那样），则必须自己执行此操作。

幸运的是，有一个 api：如果你把你的代码放在一个 with_connection 块中，它会从池中获得一个连接，并在完成后释放它

ActiveRecord::Base.connection_pool.with_connection do
  #your code here
end

在你的情况下：

def db
  ActiveRecord::Base.connection_pool.with_connection do
    yield
  end
end

应该做的伎俩....

http://api.rubyonrails.org/classes/ActiveRecord/ConnectionAdapters/ConnectionPool.html#method-i-with_connection

于 2013-10-15T12:00:32.903 回答
1

原因可能是您有许多线程正在使用所有连接，如果 DataFeed.update方法花费超过 5 秒，那么您的块可能会重叠。

尝试

scheduler.every("5s",  :allow_overlapping => false) do
#...
end

也尝试释放连接而不是关闭它。

 ActiveRecord::Base.connection_pool.release_connection
于 2013-08-02T12:01:51.113 回答
-1

我不太了解 rufus-scheduler，但我有一些想法。

第一个问题可能是 rufus-scheduler 上的一个错误，它没有正确检查数据库连接。如果是这种情况，唯一的解决方案是像您已经做的那样手动清除陈旧的连接，并将您的问题告知 rufus-scheduler 的作者。

另一个可能发生的问题是您的 DataFeed 操作需要很长时间，而且因为它每 5 秒执行一次，Rails 的数据库连接已用完，但这不太可能发生。

于 2013-05-27T21:06:37.647 回答