c - Windows 中的 UTF-8

Question

如何在 C Windows 程序中将代码页设置为 UTF-8？

我有一个使用 fopen 打开文件的第三方库。我可以使用 wcstombs 将我的 Unicode 文件名转换为当前代码页，但是如果用户的文件名包含代码页之外的字符，那么这会中断。

理想情况下，我只需调用 _setmbcp(65001) 将代码页设置为 UTF-8，但是 _setmbcp 的 MSDN 文档指出不支持 UTF-8。

我怎样才能解决这个问题？

Answer 1

不幸的是，没有办法使 Unicode 成为 Windows 中的当前代码页。和常量是伪代码页，仅用于CP_UTF7MultiByteToWideChar和WideCharToMultiByte转换函数，就像 Ben 提到的那样。CP_UTF8

您的问题类似于 fstream C++ 类的问题。fstream 构造函数只接受char*名称，因此无法打开具有真正 Unicode 名称的文件。VC 提供的唯一解决方案是 hack：单独打开文件，然后将句柄设置为流对象。当然，恐怕这不是您的选择，因为第三方库可能不接受句柄。

我能想到的唯一解决方案是创建一个具有非 Unicode 名称的临时文件，该文件与原始文件硬链接，并将其用作参数。

Answer 2

所有 Windows API 都以 UTF-16 进行思考，因此最好在库周围编写一个包装器，以便在边界处进行转换。

奇怪的是，Windows 认为 UTF-8 是用于转换目的的代码页，因此您使用与在代码页之间进行转换相同的 API：

std::wstring Utf8ToUtf16(const char* u8string)
{
    int wcharcount = strlen(u8string);
    wchar_t *tempWstr = new wchar_t[wcharcount];
    MultiByteToWideChar(CP_UTF8, 0, u8string, -1, tempWstr, wcharcount);
    wstring w(tempWstr);
    delete [] tempWstr;
    return w;
}

以及类似形式的东西可以转换回来。

Answer 3

2018 年更新：Windows 10 分两步使“65001”代码页减少了“伪”：

1. conhost更改：适用于 Linux 的 Windows 子系统对其控制台使用代码页 65001。也可以从 WSL开始运行chcp 65001。cmd.exe（它导致了一些相当愚蠢的 Python 错误。）
2. 全功能语言环境：自 build 17035 以来的 Windows允许将 UTF-8 设置为语言环境代码页。这可从 2018 年 4 月的更新中获得。

Answer 4

使用 cygwin（默认提供 UTF-8 语言环境），或为 Windows 编写您自己的 libc hack，执行必要的 UTF-8 到 UTF-16 转换并包装非标准_wfopen等函数。