我需要限制和订购批次的记录,并且正在使用 find_each。我见过很多人要求这个,但没有很好的解决方案。如果我错过了,请发布链接!
我有 30M 的记录,想处理权重列中值最高的 10M。
我尝试使用有人写道的这种方法:find_each_with_order但无法使其正常工作。
该站点的代码不接受订单作为选项。鉴于名称是 find_each_with_order,这似乎很奇怪。我添加如下:
class ActiveRecord::Base
# normal find_each does not use given order but uses id asc
def self.find_each_with_order(options={})
raise "offset is not yet supported" if options[:offset]
page = 1
limit = options[:limit] || 1000
order = options[:order] || 'id asc'
loop do
offset = (page-1) * limit
batch = find(:all, options.merge(:limit=>limit, :offset=>offset, :order=>order))
page += 1
batch.each{|x| yield x }
break if batch.size < limit
end
end
我正在尝试按如下方式使用它:
class GetStuff
def self.grab_em
file = File.open("1000 things.txt", "w")
rels = Thing.find_each_with_order({:limit=>100, :order=>"weight desc"})
binding.pry
things.each do |t|
binding.pry
file.write("#{t.name} #{t.id} #{t.weight}\n" )
if t.id % 20 == 0
puts t.id.to_s
end
end
file.close
end
end
顺便说一句,我在 postgres 中有数据,我将获取一个子集并将其移动到 neo4j,所以我用 neo4j 进行标记,以防你们中的任何 Neo4j 人知道如何做到这一点。谢谢。