1

所以我有标准的 C 字符串：

char* name = "Jakub";

我想将其转换为 UTF-16。我发现，UTF-16 的长度会是原来的两倍——一个字符需要两个字符。
所以我创建了另一个字符串：

char name_utf_16[10];  //"Jakub" is 5 characters

现在，我相信对于 ASCII 字符，我只会使用较低的字节，所以对于所有这些字符，它都会像74 00forJ等等。有了这个信念，我可以编写这样的代码：

void charToUtf16(char* input, char* output, int length) {
    /*Todo: how to check if output is long enough?*/
    for(int i=0; i<length; i+=2)  //Step over 2 bytes
    {
        //Lets use little-endian - smallest bytes first
        output[i] = input[i];
        output[i+1] = 0;  //We will never have any data for this field
    }
}

但是，通过这个过程，我以"Jkb". 我不知道如何正确测试 - 我刚刚将字符串发送到 Minecraft Bukkit 服务器。这就是它在断开连接时所说的：

13:34:19 [INFO] 断开jkb ?? [/127.0.0.1:53215]：过时的服务器！

注意：我知道 Minecraft 使用 big-endian。上面的代码只是一个例子，事实上，我已经在课堂上实现了我的转换。

4

3 回答 3

6

在我回答你的问题之前，请考虑一下：

这个编程领域充满了人为陷阱。理解 ASCII、UTF7/8 和 ANSI/'MultiByte Character Strings (MBCS)' 之间的区别很有意义，所有这些对于讲英语的程序员来说看起来和感觉都是一样的，但如果它们是，则需要非常不同的处理介绍给欧洲或亚洲用户。

ASCII：字符在 32-127 范围内。只有一个字节。线索就在名字里，它们对美国人来说很好，但不适合在世界其他地方使用。

ANSI/MBCS：这就是“代码页”的原因。字符 32-127 与 ASCII 相同，但可以有 128-255 范围内的字符以及其他字符，并且 128-255 范围内的某些字符可以用作标志来标记字符是否继续到第二个，第三个甚至第四个字节。要正确处理字符串，您需要字符串字节和正确的代码页。如果您尝试使用错误的代码页处理字符串，您将没有正确的字符，并且会误解一个字符是一字节、二字节还是四字节字符。

UTF7/8：这些是 21 位 unicode 字符点的 8 位宽格式。在 UTF-7 和 UTF-8 中，unicode 字符的长度可以在 1 到 4 个字节之间。UTF 编码相对于 ANSI/MBCS 的优势在于没有由代码页引起的歧义。每个脚本中的每个字形都有一个唯一的 unicode 代码点，这意味着不可能通过在具有不同区域设置的不同计算机上解释数据来破坏字符集。

所以要开始回答你的问题：

  1. 虽然您假设您的 char* 只会指向一个 ASCII 字符串，但这是一个非常危险的选择，用户控制的是输入的数据，而不是程序员。默认情况下，Windows 程序会将其存储为 MBCS。

  2. 第二个假设是 UTF-16 编码将是 8 位编码大小的两倍。这通常不是一个安全的假设。取决于源编码，UTF-16 编码可能是两倍大小，可能小于两倍大小，在一个极端的例子中，长度实际上可能更短。

那么，什么是安全的解决方案？

安全的选择是在内部将您的应用程序实现为 unicode。在 Windows 上，这是一个编译器选项，然后意味着您的 Windows 控件都使用 wchar_t* 字符串作为其数据类型。在 linux 上，我不太确定您是否始终可以使用统一图形和操作系统库。您还必须使用 wcslen() 函数来获取字符串的长度等。当您与外界交互时，请准确使用所使用的字符编码。

要回答您的问题，然后将问题更改为，当我收到非 UTF-16 数据时该怎么办？

首先，非常清楚您对其格式所做的假设是什么？其次，接受有时转换为 UTF-16 可能会失败的事实。

如果你对源格式很清楚，那么你可以选择合适的win32或者stl转换器来转换格式，然后你应该在使用结果之前寻找转换失败的证据。例如 Windows 上的 mbstowcs 或 MultiByteToWideChar()。但是，安全地使用这两种方法意味着您需要了解上述所有答案。

所有其他选项都会带来风险。使用 mbcs 字符串，您将使用一个代码页输入并使用不同的代码页处理数据字符串。假设 ASCII 数据，当您遇到非 ascii 字符时，您的代码将中断，您将“责备”用户的缺点。

于 2013-09-04T09:08:07.863 回答
5

当存在为此的现有 C/C++ 函数时，为什么要创建自己的 Unicode 转换功能，例如mbstowcs()包含在<cstdlib>.

如果您仍想制作自己的东西，请查看 Unicode Consortium 的开源代码，可在此处找到：

在 Windows 和 Linux 下，在 C 中将 UTF-16 转换为 UTF-8

于 2013-03-16T13:39:36.477 回答
0 
output[i] = input[i];

这将分配输入的每个其他字节，因为您递增i2。所以难怪您获得"Jkb". 你可能想写：

output[i] = input[i / 2];
于 2013-03-16T13:26:03.823 回答