2

可能重复：
如何过滤（或替换）在 UTF-8 中占用超过 3 个字节的 unicode 字符？

背景：

我正在将 Django 与 MySQL 5.1 一起使用，我遇到了 4 字节 UTF-8 字符的问题，导致整个 Web 应用程序出现致命错误。

我使用脚本将数据库中的所有表和列转换为 UTF-8，它修复了大多数 unicode 问题，但 4 字节 unicode 字符仍然存在问题。如其他地方所述，MySQL 5.1 不支持长度超过 3 个字节的 UTF-8 字符。

每当我在我的 Django 网站上的 ModelForm 中输入一个 4 字节的 unicode 字符（例如 ）时，表单都会验证，然后引发类似于以下内容的异常：

Incorrect string value: '\xF0\x9F\x80\x90' for column 'first_name' at row 1

我的问题：

在具有 MySQL 5.1 数据库的 Django Web 应用程序中，避免由 4 字节 UTF-8 字符引起的致命错误的合理方法是什么。

我考虑过：

  1. 有选择地禁用 MySQL 警告以专门避免该错误消息（不确定这是否可能）
  2. 创建将查看request.POST QueryDict并替换/删除所有无效 UTF8 字符的中间件
  3. 以某种方式挂钩/更改/猴子修补为 Django 或 MySQLdb 输出 SQL 查询的机制，以在执行查询之前替换/删除所有无效的 UTF-8 字符

替换无效字符的示例中间件（受此SO question启发）：

import re

class MySQLUnicodeFixingMiddleware(object):

    INVALID_UTF8_RE = re.compile(u'[^\u0000-\uD7FF\uE000-\uFFFF]', re.UNICODE)

    def process_request(self, request):
        """Replace 4-byte unicode characters by REPLACEMENT CHARACTER"""
        request.POST = request.POST.copy()
        for key, values in request.POST.iterlists():
            request.POST.setlist(key,
                [self.INVALID_UTF8_RE.sub(u'\uFFFD', v) for v in values])
4

1 回答 1

1

你有升级mysql的选项吗？如果这样做，您可以升级并将编码设置为 utf8mb4。

假设您没有选项，我会为您看到以下选项：

1) 添加 java 脚本/前端验证以防止输入 1,2 或 3 字节 unicode 字符以外的任何内容，

2）在您的模型中添加清理功能以去除任何 4 字节 unicode 字符的数据（这将是您的选项 2 或 3）

同时，看起来您的用户实际上使用的是 4 字节字符。如果有在您的应用程序中使用它们的商业案例，您可以行使权力并请求升级。

于 2013-01-17T11:09:45.310 回答