15

这主要是一个我很好奇的理论问题。(我不是想通过自己编码或任何东西来做到这一点,我不是在重新发明轮子。)

我的问题是大写/小写等价表如何适用于 Unicode。

例如,如果我必须在 ASCII 中执行此操作,我会取一个字符,如果它落在 [az] 范围内,我会将 A 和 a 之间的差相加。

如果它不在那个范围内,我会为 10 个左右的重音字符加上 ñ 提供一个小的等价表。(或者,我可以有一个包含 256 个条目的完全等价数组,其中大部分与输入相同)

但是,我猜有一种更好的方法来指定 Unicode 中的等价,因为有数十万个字符,理论上,可以添加一种新语言或一组字符(我期待你发生这种情况时不需要修补窗口)。

Windows 是否对每个字符都有一个巨大的硬编码等价表?或者这是如何实现的?

一个相关的问题是 SQL Server 如何实现基于 Unicode 的不区分重音和不区分大小写的查询。它是否有一个内部表告诉它 é ë è E É È 和 Ë 都等价于“e”?

在比较字符串时,这听起来不是很快。

它如何快速访问索引?它是否已经索引值转换为它们的“基本”字符,对应于该字段的排序规则?

有谁知道这些东西的内部原理?

谢谢!

4

4 回答 4

16

我将解决这个问题的 MS SQL Server 部分,但“正确”的答案实际上取决于支持的语言和应用程序。

在 SQL Server 中创建表时,每个文本字段都具有隐式或显式指定的排序规则。这会影响排序顺序和比较行为。对于大多数英语(美国)语言环境,默认值为 Latin1_General_CI_AS,或拉丁语 1、不区分大小写、区分重音。这意味着,例如,a=A,但 a!=Ä 和 a!=ä。您还可以使用不区分重音 (Latin1_General_CI_AI),它将“A”的所有变音符号变体视为相同。

一些语言环境支持其他类别的比较;例如,法语对包含变音符号的单词的排序与德语略有不同。土耳其语认为无点 i 和带点 i 在语义上不同,因此如果您使用土耳其语、不区分大小写、区分重音的排序规则,即使不区分大小写的比较也不会匹配。

您可以更改每个数据库、每个表、每个字段的排序规则,甚至可以更改每个查询的排序规则。我的理解是索引根据指定的排序顺序进行规范化,这意味着索引基本上保持原始字符串的扁平化版本。例如,对于不区分大小写的排序规则,Apple 和 apple 存储为 apple。查询在搜索之前使用相同的排序规则进行展平。

在日语中,还有另一类规范化,其中全角和半角字符,如 ア=ア,在某些情况下,两个半角字符被展平为一个语义等效的字符(バ=バ)。最后,对于某些语言,还有另外一个带有复合字符的蜡球,其中孤立的变音符号可以与其他字符组成(例如,ä 中的变音符号是一个字符,由简单形式 a 组成)。越南语、泰语和其他一些语言有此类别的变体。如果存在规范形式,Unicode 规范化允许将组合形式和分解形式视为等效形式。Unicode 规范化通常在进行任何比较之前应用。

总而言之,对于不区分大小写的比较,您执行的操作与比较 ASCII 范围字符串时所做的非常相似:将比较的左侧和右侧展平为“小写”(例如),然后将数组作为二进制进行比较大批。不同之处在于您需要 1)将字符串标准化为相同的 unicode 形式(kC 或 kD) 2)根据该语言环境的规则将字符串标准化为相同的大小写 3)根据重音敏感规则将重音标准化4) 根据二进制比较进行比较 4) 如果适用,例如在排序的情况下,使用附加的二级和三元排序规则进行比较,其中包括类似于某些语言中“Mc”在“M”之前排序的内容。

是的,Windows 存储所有这些规则的表。默认情况下,您不会在每次安装中都获得所有这些,除非您通过控制面板中的东亚语言支持和复杂脚本支持添加对它们的支持。

于 2008-11-18T06:00:36.147 回答
12

有一个映射文件包含所有具有 1:1 映射比率的案例映射。通常操作系统/框架/库支持特定版本的 Unicode,并且由于这种情况下的映射文件是版本化的,因此您将获得特定操作系统/框架/库/发生支持的任何版本的 Unicode 的映射。

有关 Unicode 大小写映射的更多信息,请参阅:http ://www.unicode.org/faq/casemap_charprop.html

于 2008-11-18T02:54:29.767 回答
3

大多数书写系统没有单独的大写和小写字母。根据维基百科,例外情况包括“罗马字母、希腊字母、西里尔字母和亚美尼亚字母”。

所以没有那么多信件需要担心。这个页面显示了大范围的字符遵循一个简单的方案,即在大写字符上加 1 以获得等效的小写字母(当然也有一些例外)。

于 2008-11-18T03:02:36.660 回答
1

正确的答案要复杂一些,具体取决于您要执行的操作。

在比较字符串时,对于排序或搜索应用程序,要使用的正确算法在UTS #10:“Unicode Collat​​ion Algorithm”中指定。不区分大小写是其中的一部分,但是有不同的方式来表示许多字符,并且应用程序通常需要将各种表示视为等效。

The sorting rules are locale-dependent. This is mainly an issue when you are sorting results for display to a user. Ignoring the rules can frustrate users and even result in security vulnerabilities.

If you are just trying to capitalize words for display purposes, the rules there can be tricky too; there are one-to-many conversions and other issues. Depending on the locale, the same letter may capitalize differently. The letter's position in a word can make a difference. There's also a a distinct notion of "title case", where you just want to capitalize the first letter of each word. Sometimes the title-case of a character is not the same as its upper-case.

于 2008-11-18T21:11:03.063 回答