3

我正在尝试将大量数据从数据库导出到 csv 文件，但这需要很长时间，并且担心我会遇到严重的内存问题。

有谁知道在不增加内存的情况下导出 CSV 的更好方法？如果是这样，你能告诉我怎么做吗？谢谢。

这是我的控制器：

def users_export
  File.new("users_export.csv", "w")           # creates new file to write to
  @todays_date = Time.now.strftime("%m-%d-%Y")
  @outfile = @todays_date + ".csv"

  @users = User.select('id, login, email, last_login, created_at, updated_at')

  FasterCSV.open("users_export.csv", "w+") do |csv|
    csv << [ @todays_date ]

    csv << [ "id","login","email","last_login", "created_at", "updated_at" ]
    @users.find_each do |u|
      csv << [ u.id, u.login, u.email, u.last_login, u.created_at, u.updated_at ]
    end
  end

  send_file "users_export.csv",
    :type => 'text/csv; charset=iso-8859-1; header=present',
    :disposition => "attachment; filename=#{@outfile}"
end
4

2 回答 2

7

您正在构建一个巨大的字符串，因此您必须将整个 csv 文件保存在内存中。您还将加载所有用户，这些用户也将占用大量内存。如果您只有几百或几千个用户，这不会有任何区别，但在某些时候您可能需要做两件事

利用

User.find_each do |user|
  csv << [...]
end

这会分批加载用户（默认为 1000 个），而不是全部加载。

您还应该考虑将 csv 写入文件，而不是在内存中缓冲整个内容。假设您已经创建了一个临时文件，

FasterCSV.open('/path/to/file','w') do |csv|
  ...
end

会将您的 csv 写入文件。然后，您可以使用send_file发送它。如果您已经打开了文件，FasterCSV.new(io)也应该可以使用。

最后，在 Rails 3.1 及更高版本上，您可能可以在创建 csv 文件时对其进行流式传输，但这不是我之前尝试过的。

于 2012-06-27T07:46:19.927 回答
1

除了生成 csv 的技巧之外，一定要优化对数据库的调用。仅选择您需要的列。

@users = User.select('id, login, email, last_login, created_at, updated_at').order('login')
@users.find_each do |user|
   ...
end

例如，如果您有 1000 个用户，并且每个用户都有密码、password_salt、城市、国家/地区……那么从数据库中传输的对象会少 1000 个，创建为 ruby​​ 对象，最后被垃圾收集。

于 2012-06-27T09:53:41.053 回答