问题标签 [utf8mb4]

我们正在开发一个 iPhone 应用程序，它将表情符号从 iPhone 发送到服务器端 PHP 并插入到 MySQL 表中。我正在做服务器端的工作。

但是插入语句执行成功后，插入的值变为空白。
我可以正确插入字段（varchar）的是文本，但是一旦包含表情符号，
就可以插入文本并且表情符号会被自动剪切。

有人给我建议将字段类型设置为博客，以便它可以存储图像数据。
但是插入的值并不总是包括表情符号大小写，并且大小很小。

*我正在使用 mysql_real_escape_string 插入值。

我对奇怪的角色有疑问。

在mysql中这个字符导致错误Incorrect string value: '\xF0\x9F\x92\x80'

这些字符的样本来自https://foursquare.com/v/shabushi-%E0%B8%8A%E0%B8%B2%E0%B8%9A%E0%B8%8A/4b72452cf964a5203c762de3

假设我想分析来自网络的数据并发现一些奇怪的字符

怎么去掉这个字符？？

这种情况很少见。

实际上，如何知道所有可能对 mysql 有问题的字符并将其删除？我不是说可以逃脱的角色。我说的字符既不是数字，也不是字母，也不是汉字，也不是标点符号。完全奇怪的角色。

我如何从字符串中摆脱它？

我正在尝试学习 Java 编程以及如何将它与数据库 MySQL 链接...

这是代码：

说：

好吧，我一直在 Google 和 YouTube 上搜索，但没有解决此类问题……我已经按照本教程一步一步地安装了程序……（http://www.youtube.com/watch ?v=E30_-pQGQXs )

我真的需要帮助....

在阅读了关于 SO 的所有关于表情符号的主题后，我一定会寻求帮助。问题似乎几乎相同：我有一个 iPhone 应用程序通过 PHP 表情符号发送到 MySQL DB，我可以在记录上看到一些符号，例如“伞”和“云”，但其他不是（愤怒的脸、笑脸和其他）。

为什么有些是，有些不是？

• MySQL 排序规则：utf8mb_unicode_ci
• 表排序：utf8mb_unicode_ci
• 字段、varchar、排序规则：utf8mb_unicode_ci

PHP设置：

记录中未显示的符号显示为问号“？”

当我执行以下命令时：

我收到此错误消息：

我正在使用 utf8mb4 的字符集。那么为什么我会收到错误消息？

This is how my connection is set:
Connection conn = DriverManager.getConnection(url + dbName + "?useUnicode=true&characterEncoding=utf-8", userName, password);

And I'm getting the following error when tyring to add a row to a table:
Incorrect string value: '\xF0\x90\x8D\x83\xF0\x90...' for column 'content' at row 1

I'm inserting thousands of records, and I always get this error when the text contains \xF0 (i.e. the the incorrect string value always starts with \xF0).

The column's collation is utf8_general_ci.

What could be the problem?

我有一个 Wordpress 网站，它随机显示如下错误：

这是一个占位符网站；使用 PhpMyAdmin 将数据从现有的 live 导出到 .sql 文件中。我怀疑存在某种字符编码问题？我已经通过任何“默认值”以及 UTF8 导出。在导入的数据库中，我分别尝试将字符编码和排序规则作为 UTF8（目前是）以及“Latin1 ISO8899 西欧”和“utf_general_ci”作为编码和排序规则，但没有运气。

我注意到，当我在一段时间后访问该站点时会发生错误。

我能做些什么？谢谢！

utf16 还是 utf32？我正在尝试以多种语言存储内容。一些语言使用双宽字体（例如，日文字体通常是英文字体的两倍）。我不确定我应该使用哪种数据库。有关这四个字符集之间差异的任何信息...

这可能很简单。我发誓我一直在网上寻找答案，但没有找到。由于我的特殊情况有点不典型，我最终决定在这里问。

我在 MySQL 中有一些用于中文程序的表。它需要能够支持所有可能的汉字，包括那些没有很好的字体支持的稀有汉字。表中的示例单元格可能是这样的：

东菄鸫䍶倲涷蝀冻鯟崠埬䰤</p>

为了让它在数据库中正常工作，我不得不将编码/排序规则设置为 utf8mb4。到现在为止还挺好。不幸的是，当我将相同的字符串拉入 PHP 时，它会打印为：

东菄鸫䍶?倲??涷蝀冻鯟?崠埬?䰤</p>

我怎样才能最终消除剩余的问号并让它们显示为它们应该是的 unicode 字形？我已经在标签中使用 UTF8 编码并作为元标签来获取 php 页面本身。

为什么他们不能互相交流？我究竟做错了什么？

可能重复：
如何过滤（或替换）在 UTF-8 中占用超过 3 个字节的 unicode 字符？

背景：

我正在将 Django 与 MySQL 5.1 一起使用，我遇到了 4 字节 UTF-8 字符的问题，导致整个 Web 应用程序出现致命错误。

我使用脚本将数据库中的所有表和列转换为 UTF-8，它修复了大多数 unicode 问题，但 4 字节 unicode 字符仍然存在问题。如其他地方所述，MySQL 5.1 不支持长度超过 3 个字节的 UTF-8 字符。

每当我在我的 Django 网站上的 ModelForm 中输入一个 4 字节的 unicode 字符（例如 ）时，表单都会验证，然后引发类似于以下内容的异常：

我的问题：

在具有 MySQL 5.1 数据库的 Django Web 应用程序中，避免由 4 字节 UTF-8 字符引起的致命错误的合理方法是什么。

我考虑过：

1. 有选择地禁用 MySQL 警告以专门避免该错误消息（不确定这是否可能）
2. 创建将查看request.POST QueryDict并替换/删除所有无效 UTF8 字符的中间件
3. 以某种方式挂钩/更改/猴子修补为 Django 或 MySQLdb 输出 SQL 查询的机制，以在执行查询之前替换/删除所有无效的 UTF-8 字符

替换无效字符的示例中间件（受此SO question启发）：