12

我有一个大的 MySQL 5.1 数据库，出于各种愚蠢的原因，我一直在 UTF8 表中存储编码为 LATIN1 的 UTF8 字符。真奇怪。我想修复它。

MySQL - 将 UTF8 表上的latin1 字符转换为 UTF8问题似乎有效——一次一列。但我有 24 个表和几十个列要转换。我真的在寻找一种可以一次转换至少一个表格的解决方案。

作为参考，对我有用的单列解决方案是：

UPDATE foo SET col1 = CONVERT(CAST(CONVERT(col1 USING latin1) AS binary) USING utf8);

对于表，我可以这样做：

ALTER TABLE foo CONVERT TO CHARACTER SET latin1;
ALTER TABLE foo CONVERT TO CHARACTER SET binary;
ALTER TABLE foo CHARACTER SET utf8  COLLATE utf8_unicode_ci;

这让我非常接近——然而，这CONVERT TO CHARACTER SET binary一步一举将我所有的 VARCHAR 列变成了 VARBINARY，我的 TEXT 列变成了 BLOB。我可以通过并将它们改回来，一切似乎都很好......但随后我又回到了“让我们单独修改所有列”的世界——在这种情况下，我也可以

我已经对这些 SQL 语句尝试了大约 50 种变体，但我找不到一种既能将我的列保留为字符数据类型又能正确编码数据的变体。

有什么建议么？

更新：决定只修复列而不是等待数据库或表解决方案，我想出了：

#!/usr/bin/env ruby
require 'rubygems'
require 'mysql2'

CONNECT_OPTS = {} # whatever you want
Mysql2::Client.default_query_options.merge!(:as => :array)
conn = Mysql2::Client.new(CONNECT_OPTS)

tables = conn.query("SHOW TABLES").map {|row| row[0] }

# See http://dev.mysql.com/doc/refman/5.0/en/charset-column.html
# One might want to include enum and set columns; I don't have them
TYPES_TO_CONVERT = %w(char varchar text)
tables.each do |table|
  puts "converting #{table}"
  # Get all the columns and we'll filter for the ones we want
  columns = conn.query("DESCRIBE #{table}")
  columns_to_convert = columns.find_all {|row|
    TYPES_TO_CONVERT.include? row[1].gsub(/\(\d+\)/, '')
  }.map {|row| row[0]}
  next if columns_to_convert.empty?

  query = "UPDATE `#{table}` SET "
  query += columns_to_convert.map {|col|
    "`#{col}` = convert(cast(convert(`#{col}` using latin1) as binary) using utf8)"
  }.join ", "
  puts query
  conn.query query
end

...完成工作。有趣的是，这在我的数据库上运行了 36 秒，而不是 ALTER TABLE 路由需要 13 分钟（并且有 VARBINARY 问题）或 mysqldump 解决方案，如果我可以让它们运行则需要超过 20 秒。

如果有人知道一个优雅的方法可以一步对整个数据库或表执行此操作，我仍然会接受答案。

4

1 回答 1

13

下面的这种方法看起来非常有前途，而且更好，它的简单性很漂亮。这个想法是您将整个数据库mysqldump为latin1，然后将其重新编码为utf-8导入。

出口：

mysqldump -u [用户] -p --opt --quote-names --skip-set-charset --default-character-set=latin1 [数据库] > dump.sql

进口：

mysql -u [用户] -p --default-character-set=utf8 [数据库] < dump.sql

我不相信这个解决方案，它完全来自Gareth Price 的博客。到目前为止，它对所有给他留下评论的人都有效：“哇，你刚刚救了我的命。我没有花 2 个小时，而是 2 天”引起了我的注意。

更新 #1：看起来 Gareth并不是第一个发现这一点的人。

更新 #2：我刚刚尝试过，它在我的 UTF8-stored-as-latin1 数据库中运行良好。只需确保在导入之前将数据库上的默认字符集切换为 utf8 ，否则最终会在特殊字符所在的位置出现普通问号。当然，这可能会产生很多其他后果，所以首先要像地狱一样进行测试。

ALTER SCHEMA [数据库]默认字符集 utf8;

如果您有任何未设置为架构默认值的表：

ALTER TABLE [表]字符集 = 默认值；

（同样的想法，如果您有任何特定于列的字符集设置，则必须在不指定 CHARACTER SET 的情况下执行 ALTER TABLE [table] CHANGE COLUMN [settings]以便返回到表默认值）

于 2014-03-28T18:11:31.383 回答