0

我正在尝试处理多个数据库条目。我们一直在从网站上删除数据，但有人忘记对已经创建的当前数据进行检查。我们现在有大约 12,000 个条目。

我正在查看每个条目并删除重复的条目。这是我到目前为止所拥有的：

for Listing.each(:order => "street_address DESC") do |listing| 
  if listing.scraped == true
    if previous_street_address && listing.street_address == previous_street_address
      listing.delete
    end
  end
  previous_street_address = listing.street_address
end

这是数据库架构：

  create_table "listings", :force => true do |t|
    t.integer  "category"
    t.string   "street_address"
    t.string   "city"
    t.string   "state"
    t.datetime "availability"
    t.integer  "bedrooms"
    t.integer  "bathrooms"
    t.integer  "square_footage"
    t.string   "short_description"
    t.text     "long_description"
    t.integer  "price"
    t.integer  "period"
    t.datetime "created_at",                              :null => false
    t.datetime "updated_at",                              :null => false
    t.integer  "landlord_id"
    t.float    "latitude"
    t.float    "longitude"
    t.datetime "expires_at"
    t.boolean  "warned_of_expiration"
    t.integer  "views",                :default => 0,     :null => false
    t.boolean  "fake"
    t.string   "short_web_url"
    t.string   "apartment_no"
    t.string   "zipcode"
    t.datetime "delisted_at"
    t.integer  "daily_rate"
    t.integer  "photos_count"
    t.string   "delisted_reason"
    t.boolean  "scraped"
    t.boolean  "cats",                 :default => false
    t.boolean  "dogs",                 :default => false
  end

我知道我需要以有意义的方式对数据进行排序，但我不认为 Street Address 的工作方式就像地址是“123 Anywhere Street”一样，我 Listing.street_address.to_i 它将其转换为 123，然后按这些数字排序这可能会导致问题。我正在寻找一些新的眼光来解决这个问题。

4

2 回答 2

5

12,000 在内存中并不多。这个解决方案怎么样：

all = Listing.all
to_remove = all-all.uniq{|el| [el.street_address, ..., ...] }
to_remove.each(&:delete)
于 2012-12-09T08:41:14.267 回答
0

您可能会发现直接在 Postgres 中更容易做到这一点。这个线程有几个例子。

于 2012-12-09T20:04:50.003 回答