问题标签 [character-encoding]

我正在使用一个 MySQL 数据库，该数据库具有从Excel导入的一些数据。数据包含非ASCII字符（短划线等）以及隐藏的回车符或换行符。有没有办法使用 MySQL 找到这些记录？

可能重复：
Url 编码和 HTML 编码之间的区别

HTMLEncode 是什么意思，我该如何使用它？

URLEncode 是什么意思，它与 HTMLEncode 有何不同？

我真的想展示 htmlentities 给了我什么，但它没有给 & euro; 对于 € 字符。

我在尝试

对于这两个我得到

LISBOA-VIENA DESDE 99€ TAXAS INCLUÍDAS, RESERVE JÁ

LISBOA-VIENA DESDE 99€ TAXAS INCLUÍDAS, RESERVE JÁ

我从来没有得到&欧元；

有谁知道如何做到这一点？

我想确定给定语言环境的字母表是什么，最好基于浏览器的 Accept-Language 标头值。任何人都知道如何做到这一点，如有必要使用图书馆？

我在一个问题中有两个 String.printable 之谜。

首先，在 Python 2.6 中：

查看字符串的末尾，您会发现 '\x0b\x0c' 像大拇指一样突出。他们为什么在那里？我正在使用设置为澳大利亚设置的机器，所以不应该有任何重音字符等。

接下来，尝试运行以下代码：

第一行成功打印了由空格分隔的所有字符。这两个奇怪的字符变成了男性和女性符号。

第二行成功打印除最后一个由换行分隔的所有字符。男性符号打印；女性符号被替换为缺少的字符（一个框）。

我敢肯定 Python 的本意不是带有性别偏见，那么有什么区别呢？

有标准的 AZ、az 字符，也有连字符、破折号、引号等。

此外，还有所有的国际字符，如变音符号等。

那么，对于一个基于英语的系统，完整的集合是什么？其他语言的集合呢？UTF8、UTF16 等呢？

额外问题：需要多少个名称字段，它们的最大长度是多少？

编辑：人名中肯定有两种不同类型的字符，一种是作为上下文的一部分，另一种是出于结构原因。我不想限制或干扰上下文字符，但我确实需要处理结构字符。

例如，我输入了一个用 em 破折号分隔的名称，但很难将其与减号字符区分开来。为了使系统更易于搜索，我想采用所有五种不同类型的破折号，并将它们映射到一个唯一字符（减号）上，这样搜索者就不需要具体知道最初输入的是哪个符号。

破折号存在问题，可能还有引号，还有多少其他符号？

我有一些来自 Web 服务的 JSON 数据，它为我提供如下数据

我需要能够使用 javascript 将希腊标签内的内容转换为等效的符号。

有任何想法吗？

我有几个设置为 latin1 字符集的表，但我怀疑已错误地插入了一些实际使用 utf8 编码的值。

MySQL 使这变得更复杂一些，因为它会根据您的连接设置静默转换所有内容。

如何测试我的假设，即 MySQL 的 latin1 列中有一些 utf8 编码的字节？

我有一个本地化问题。

我的一位勤奋的同事用字典中包含的常量替换了整个应用程序中的所有字符串。一旦用户选择一种语言（默认为英语，但目标语言是德语、西班牙语、法语、葡萄牙语、普通话和泰语），该词典就会在其中放置各种字符串。

为了测试此功能，我们希望更改一个按钮以包含具有 ñ 字符的文本，该字符以西班牙语和 Arial Unicode MS 字体（我们在整个应用程序中使用）显示。

问题是，ñ 显示为一个方块，就好像程序不知道如何显示它一样。当我调试从磁盘读取的特定字符串时，调试器也会将该字符报告为方块。

那么失败在哪里呢？我觉得可能有几个地方：

1) 记事本可能无法识别 unicode，因此此处显示的 ñ 与 vs2008 所期望的不同，因此程序将字符解释为正方形（编辑：记事本显示与 vs 相同的字符；即，它们都显示ñ. 在同一个地方。）。

2) vs2008 无法处理ñ。我觉得非常非常难以相信。

3）文字读入正确，但是vs2008的默认字体无法显示，这也是调试器显示正方形的原因。

4）文本没有正确读入，我应该使用常规 StreamReader 以外的东西来获取字符串。

5) 文本被正确读入，但 C# 中默认的 String 类处理不好。我觉得非常非常难以相信。

6) 我拥有的 Arial Unicode MS 版本没有ñ，尽管它被http://www.fileinfo.info列为 50k 个字符之一。

还有什么我可以遗漏的吗？

谢谢你的帮助！

我正在使用以下方法读取 Csv 文件内容：

如果我有一个带有schema.ini的UTF-8编码的 Csv 文件，则此方法有效，如下所示：

如果我在Unicode编码的 Csv 文件中有德语字符，则该方法无法正确读取数据。

我可以对上述读取Unicode Csv 文件的方法进行哪些修改？如果没有办法这样做，你能建议什么 CSV 阅读代码？