ruby-on-rails - 使用 sidekiq 和 smarter_csv 从 csv 文件将数据插入 mysql db

Question

我在我的 rails 应用程序中使用 Sidekiq ( https://github.com/mperham/sidekiq ) 进行后台处理。我需要将 75,000 条记录从 csv 文件插入 mysql db。我使用 smarter_csv ( https://github.com/tilo/smarter_csv ) 与 sidekiq 一起将数据块插入到数据库中。我有以下问题

1. sidekiq 的最大工人数是 25 吗？

2. mysql db 的最大可能池大小是多少，我应该为尽可能短的传输时间使用的池大小的最佳值是多少？

谢谢

Answer 1

1. sidekiq -c 50创建 50 个处理器（默认为 25）

2. MySql 默认接受 100 个连接。如果您更改pool大小database.yml，请确保您输入的值小于或等于 MySql 可以处理的连接数。我不知道最佳值是多少，我认为这取决于可用的 RAM 量。