问题标签 [ftfy]

我最近注意到我在数据库中来自用户的一些条目包含错误编码的字符串，例如明确表示ó什么时候。ó它来自其他未正确编码的网站的复制粘贴，这是我无法控制的。我发现我可以添加此验证器来捕获此类情况并引发异常 - 这是一个带有附加模型的示例：

问题是，既然我发现了它，我认为在我的任何 CharField、TextField 等实例中都没有必要跳过它。有没有办法将此验证器插入所有数据类型，以便如果任何非二进制文件具有无效的 UTF-8，我可以指望它不会进入数据库？

我在 Python 中将函数应用于 dict 的所有叶子（从 JSON 文件加载）时遇到问题。文本编码错误，我想使用 ftfy 模块来修复它。

这是我的功能：

我这样称呼：

控制台输出很好：

但我的输出文件不固定：

我正在尝试使用 ftfy Python 包修复 csv 文件中的 unicode 错误，但它在包含 \xa0 的行中失败

我不明白为什么会发生这种情况以及如何正确修复它！

这是导致问题的示例：

对不包含 \xa0 的子字符串进行测试可以正常工作：

用空格替换 \xa0 也可以：

我不确定这是否是解决此问题的正确方法以及是否可以安全使用而不会错过其他事情？

我需要安装 ftfy 包。

我已经从终端和 jupyterlab 内部运行了通常的 pip 安装。

从 jupyterlab 运行时，出现此错误：

jupyterlab 中抛出的错误

从终端运行时出现此错误：

终端中抛出的错误

请注意，我没有 sudo 特权。有人可以指导我如何安装或我现在应该做什么？