问题标签 [utf8-decode]

我正在尝试将一些 UTF-8 字符输出到 JSON 文件。

当我保存文件时，它们是这样写的：

{"some_key": "Enviar invitaci\u00f3n privada"}

以上内容有效且有效。当我加载文件并打印“some_key”时，它会在终端中显示“Enviar invitación privada”。

有没有像这样用“some_key”作为编码版本编写JSON文件？

{"some_key": "Enviar invitación privada"}

我刚刚发现 Node（已测试：v0.8.23，当前 git：v0.11.3-pre）忽略其缓冲区处理中的任何解码错误，默默地用（Unicode 替换字符）替换任何非 utf8 字符，'\ufffd'而不是抛出异常非utf8输入。结果，fs.readFile和process.stdin.setEncoding朋友为您掩盖了一大类错误的输入错误。

不会失败但确实应该失败的示例：

'\ufffd'是一个完全有效的字符，可以出现在合法的 utf8 中（作为 sequence ef bf bd），因此基于结果中显示的错误处理，monkey-patch 并非易事。

再深入一点，看起来这源于节点只是遵循 v8 的字符串，而这些字符串又具有上述行为，v8 没有任何外部世界充满了外国编码的数据。

是否有节点模块或其他方式可以让我捕获 utf-8 解码错误，最好有关于在输入字符串或缓冲区中发现错误的上下文？

我正在尝试使用 python 在网页中查找一些单词（只是为了练习），但我一直遇到问题。就是这个：

它在最后一行刹车，给我一个错误（一个常见的错误）；

关于如何防止或忽略这一点的任何想法？

我有一个NSString包含例如编码字符串的对象：Tm8gMQ==

因为我恢复的是一个NSString对象而不是一个NSData对象，我想怎么做decode呢？

谢谢你。

我正在尝试使用一个名为 MeCab 的程序，它对日语文本进行语法分析。我遇到的问题是它返回一个字节字符串，如果我尝试打印它，它会为几乎所有字符打印问号。但是，如果我尝试使用.decode，它会引发错误。这是我的代码：

这是我的输出：

此外，我的终端能够正确显示日文字符。例如print '日本語'工作得很好。

有任何想法吗？

我从包含半 utf8 编码的文件中读取行，我希望将其转换为 Perl 内部表示以进行进一步操作。

file.in（纯 ASCII）：

这些应该转化为 MOŽNÁ 和 NOVÁ。

我加载这些行并将它们升级为正确的 utf8 表示法，即。\\xc5\\xbd -> \x{00c5}\x{00bd}. 然后我想把它升级$line并让 perl 在内部表示它：

不幸的是，没有成功。

当我从网站http://dilbert.com获取内容时，它给了我一个无效的编码：utf-8lias。当然不存在这样的编码，但我不能影响网站告诉我的内容。

因此，play.api.libs.ws.Response 对象会抛出 UnsupportedEncodingException：

[错误] 应用程序 - 错误：java.io.UnsupportedEncodingException：utf-8lias

当然，即使网站给出的编码明显有问题，内容也是 UTF-8 的。

我可以以某种方式强制 Scala WS 响应将响应解码为 UTF-8 吗？

我有带有古吉拉特语文本的数据库。
我使用 utf-8 来显示使用 PHP，但无法显示古吉拉特语字体。
例如：我在古吉拉特语中有字符串：u00abfku00fe
真正的字体是：પ્રકાશ 那么，是否有任何其他解码方法来显示此文本。

我有一个在 PHP 5 上运行并使用mysqli扩展访问和存储 MySQL 数据库的应用程序。该数据库包含许多编码为UTF-8的表（排序规则 utf8_swedish_ci）。

不幸的是，mysqli 连接似乎被配置为使用 ISO-8859-1 对所有内容进行编码，这意味着我有包含latin1数据的UTF-8表。我现在正在尝试通过将所有内容转换为 UTF-8 来修复这个问题（应该是这样！）

有没有内置的方法来处理这个？如果没有，你会建议我如何处理这个问题？

编辑：使用 PHPMyAdmin 浏览所有数据时的数据示例：

handelë（应该是handelë）

√skal（应该是√skal）

另外，数据在HTML文档中是正确输出的，只要我使用输出编码UTF-8，但保持mysqli连接字符集为latin1。这一切都相当混乱，。

非常感谢您的帮助！

我想选择具有text="Côte d'Ivoire"的下拉菜单。

我试过这些代码，

1.encoding: UTF-8 #not working

2.text.force_encoding("ASCII-8BIT").encode('UTF-8', undef: :replace, replace:'') #text=Cte d'Ivoire

我该怎么办？ 我也想将此文本保存到我的数据库中。请帮忙。