10

我必须处理一种文件格式(读取和写入),其中字符串以 UTF-16 编码(每个字符 2 个字节)。由于 ASCII 表中的字符很少在应用程序域中使用,因此我的 C++ 模型类中的所有字符串都存储在 std::string (UTF-8 编码)的实例中。

我正在寻找一个库(在 STL 和 Boost 中搜索但没有运气)或一组 C/C++ 函数来处理这个 std::string <-> UTF-16 转换时从文件格式加载或保存到文件格式(实际上建模作为字节流)包括代理对的生成/识别和所有 Unicode 东西(我承认我不是专家)......

有什么建议么?谢谢!

编辑:忘了说它应该是跨平台的(Win / Mac),不能使用 C++11。

4

3 回答 3

15

C++11 有这个功能:

std::string s = u8"Hello, World!";

// #include <codecvt>
std::wstring_convert<std::codecvt<char16_t,char,std::mbstate_t>,char16_t> convert;

std::u16string u16 = convert.from_bytes(s);
std::string u8 = convert.to_bytes(u16);

但是据我所知,到目前为止唯一具有此功能的实现是 libc++。C++11 也有std::codecvt_utf8_utf16<char16_t>其​​他一些实现。具体来说,codecvt_utf8_utf16适用于 VS 2010 及更高版本,并且由于 Windows 使用 wchar_t 来表示 UTF-16,您可以使用它在 UTF-8 和 Windows 的 native encoding 之间进行转换


专业化codecvt<char16_t, char, mbstate_t>在 UTF-16 和 UTF-8 编码方案codecvt<char32_t, char, mbstate_t>之间转换,专业化在 UTF-32 和 UTF-8 编码方案之间转换。

                                                                                                                         — [locale.codecvt] 22.4.1.4/3


哦,std::codecvt 特化有受保护的析构函数,而 wstring_convert 需要访问析构函数,所以你真的需要一个适配器:

template <class Facet>
class usable_facet : public Facet {
public:
    using Facet::Facet; // inherit constructors
    ~usable_facet() {}

    // workaround for compilers without inheriting constructors:
    // template <class ...Args> usable_facet(Args&& ...args) : Facet(std::forward<Args>(args)...) {}
};

template<typename internT, typename externT, typename stateT> 
using codecvt = usable_facet<std::codecvt<internT, externT, stateT>>;

std::wstring_convert<codecvt<char16_t,char,std::mbstate_t>> convert;
于 2012-06-18T15:46:24.547 回答
4

你看过Boost.Locale吗? 本页特别介绍了如何进行 UTF 到 UTF 的转换以及如何将其与 IOStreams 集成。

于 2012-06-18T15:54:00.303 回答
0

我建议看看:

将 C++ std::string 转换为 UTF-16-LE 编码字符串

并查看 iconv 功能。它是一个 C 库,对 C++11 没有要求。

在https://github.com/win-iconv/win-iconv还有一个 Win32 特定的 iconv 库。

于 2018-10-09T03:34:38.103 回答