3

我在 Ruby 上使用 Iconv 库将编码从 UTF-8 转换为 UTF-32、UTF-16 等，效果非常好。

但是，在从 Big5 转换为 UTF-8 时，我确实看到了一个问题——无效序列引发了异常......

当它从 CP950 转换为 UTF-8 时问题就消失了，其中 CP950 本质上是 Big5 ......

所以我想知道除了使用Iconv之外是否还有其他好的选择？还是CP950是Big5的更好版本？

4

3 回答 3

3

看看ICU，它是一个进行字符转换的库。

另一方面，其他答案表明您可能需要更仔细地检查您的编码。

于 2009-05-13T07:12:10.580 回答
2

Big5和CP950虽然差不多，但还是有区别的。在 Unicode 网站上有将不同编码转换为 Unicode 的参考文件，您会看到Big5和CP950是不同的。我对 Iconv 的体验很好——我怀疑它的行为可能是正确的。

在 CP950 中找到但在 Big5 中没有找到的一些字符具有十六进制值：0x00, 0x01, 0x02, 0x03, 0x04, 0x05, 0x06, 0x07, 0x08, 0x09, 0x0A, 0x0B, 0x0C, 0x0D, 0x0E, 0x0F, 0x10, 0x11, 0x12, 0x13, 0x14, 0x15, 0x16, 0x17, 0x18, 0x19, 0x1A, 0x1B, 0x1C, 0x1D, 0x1E, 0x1F, 0x20, 0x21, 0x22, 0x23, 0x24, 0x25, 0x26, 0x27, 0x28, 0x29, 0x2A, 0x2B, 0x2C, 0x2D, 0x2E, 0x2F, 0x30, 0x31, 0x32, 0x33, 0x34, 0x35, 0x36, 0x37, 0x38, 0x39, 0x3A, 0x3B, 0x3C, 0x3D, 0x3E, 0x3F, 0x40, 0x41, 0x42, 0x43, 0x44, 0x45, 0x46, 0x47, 0x48, 0x49, 0x4A, 0x4B, 0x4C, 0x4D, 0x4E, 0x4F, 0x50, 0x51, 0x52, 0x53, 0x54, 0x55, 0x56, 0x57, 0x58, 0x59, 0x5A, 0x5B, 0x5C, 0x5D, 0x5E, 0x5F, 0x60, 0x61, 0x62, 0x63, 0x64, 0x65, 0x66, 0x67, 0x68, 0x69, 0x6A, 0x6B, 0x6C, 0x6D, 0x6E, 0x6F, 0x70, 0x71, 0x72, 0x73, 0x74, 0x75, 0x76, 0x77, 0x78, 0x79, 0x7A, 0x7B, 0x7C, 0x7D, 0x7E, 0x7F, 0x80, 0x81, 0x82, 0x83, 0x84, 0x85, 0x86, 0x87, 0x88, 0x89, 0x8A, 0x8B, 0x8C, 0x8D, 0x8E, 0x8F, 0x90, 0x91, 0x92, 0x93, 0x94, 0x95, 0x96, 0x97, 0x98, 0x99, 0x9A, 0x9B, 0x9C, 0x9D, 0x9E, 0x9F, 0xA0, 0xA1, 0xA15A, 0xA1C3, 0xA1C5, 0xA1FE, 0xA240, 0xA3E1, 0xA2CC, 0xA2CE. 如果您的任何输入包含这些值，则该文件不是有效的 Big5。

于 2009-05-13T06:31:34.843 回答
2

有很多很多 big5 变体。CP950 只是其中之一。 http://www.moztw.org/docs/big5/

对于big5，我建议使用“big5-2003”，这是官方更新版本。

于 2009-05-13T06:43:05.573 回答