7

我有显示 UTF-8 编码字符的字符串，我想将其转换回 Unicode。

目前，我的实现如下：

public static string DecodeFromUtf8(this string utf8String)
{
    // read the string as UTF-8 bytes.
    byte[] encodedBytes = Encoding.UTF8.GetBytes(utf8String);

    // convert them into unicode bytes.
    byte[] unicodeBytes = Encoding.Convert(Encoding.UTF8, Encoding.Unicode, encodedBytes);

    // builds the converted string.
    return Encoding.Unicode.GetString(encodedBytes);
}

我在玩这个词"déjà"。我已经通过这个在线工具将它转换为 UTF-8 ，所以我开始用字符串测试我的方法"déjÃ"。

不幸的是，通过这种实现，字符串保持不变。

我哪里错了？

4

4 回答 4

18

所以问题是 UTF-8 代码单元值已作为 16 位代码单元序列存储在 C#string中。您只需验证每个代码单元是否在一个字节范围内，将这些值复制到字节中，然后将新的 UTF-8 字节序列转换为 UTF-16。

public static string DecodeFromUtf8(this string utf8String)
{
    // copy the string as UTF-8 bytes.
    byte[] utf8Bytes = new byte[utf8String.Length];
    for (int i=0;i<utf8String.Length;++i) {
        //Debug.Assert( 0 <= utf8String[i] && utf8String[i] <= 255, "the char must be in byte's range");
        utf8Bytes[i] = (byte)utf8String[i];
    }

    return Encoding.UTF8.GetString(utf8Bytes,0,utf8Bytes.Length);
}

DecodeFromUtf8("d\u00C3\u00A9j\u00C3\u00A0"); // déjà

这很容易，但是最好找到根本原因；有人将 UTF-8 代码单元复制到 16 位代码单元的位置。string可能的罪魁祸首是有人使用错误的编码将字节转换为 C# 。例如Encoding.Default.GetString(utf8Bytes, 0, utf8Bytes.Length)。

或者，如果您确定您知道用于生成字符串的不正确编码，并且不正确的编码转换是无损的（通常情况下，如果不正确的编码是单字节编码），那么您可以简单地进行反向编码步骤获取原始 UTF-8 数据，然后您可以从 UTF-8 字节进行正确转换：

public static string UndoEncodingMistake(string mangledString, Encoding mistake, Encoding correction)
{
    // the inverse of `mistake.GetString(originalBytes);`
    byte[] originalBytes = mistake.GetBytes(mangledString);
    return correction.GetString(originalBytes);
}

UndoEncodingMistake("d\u00C3\u00A9j\u00C3\u00A0", Encoding(1252), Encoding.UTF8);
于 2012-07-02T20:18:03.843 回答
9

如果您有一个 UTF-8 字符串，其中每个字节都是正确的（'Ö' -> [195, 0] , [150, 0]），您可以使用以下内容：

public static string Utf8ToUtf16(string utf8String)
{
    /***************************************************************
     * Every .NET string will store text with the UTF-16 encoding, *
     * known as Encoding.Unicode. Other encodings may exist as     *
     * Byte-Array or incorrectly stored with the UTF-16 encoding.  *
     *                                                             *
     * UTF-8 = 1 bytes per char                                    *
     *    ["100" for the ansi 'd']                                 *
     *    ["206" and "186" for the russian '?']                    *
     *                                                             *
     * UTF-16 = 2 bytes per char                                   *
     *    ["100, 0" for the ansi 'd']                              *
     *    ["186, 3" for the russian '?']                           *
     *                                                             *
     * UTF-8 inside UTF-16                                         *
     *    ["100, 0" for the ansi 'd']                              *
     *    ["206, 0" and "186, 0" for the russian '?']              *
     *                                                             *
     * First we need to get the UTF-8 Byte-Array and remove all    *
     * 0 byte (binary 0) while doing so.                           *
     *                                                             *
     * Binary 0 means end of string on UTF-8 encoding while on     *
     * UTF-16 one binary 0 does not end the string. Only if there  *
     * are 2 binary 0, than the UTF-16 encoding will end the       *
     * string. Because of .NET we don't have to handle this.       *
     *                                                             *
     * After removing binary 0 and receiving the Byte-Array, we    *
     * can use the UTF-8 encoding to string method now to get a    *
     * UTF-16 string.                                              *
     *                                                             *
     ***************************************************************/

    // Get UTF-8 bytes and remove binary 0 bytes (filler)
    List<byte> utf8Bytes = new List<byte>(utf8String.Length);
    foreach (byte utf8Byte in utf8String)
    {
        // Remove binary 0 bytes (filler)
        if (utf8Byte > 0) {
            utf8Bytes.Add(utf8Byte);
        }
    }

    // Convert UTF-8 bytes to UTF-16 string
    return Encoding.UTF8.GetString(utf8Bytes.ToArray());
}

在我的情况下，DLL 结果也是一个 UTF-8 字符串，但不幸的是，UTF-8 字符串是用 UTF-16 编码（'Ö' -> [195, 0], [19, 32]）解释的。因此，150 的 ANSI '-' 被转换为 8211 的 UTF-16 '-'。如果您也遇到这种情况，您可以使用以下代码：

public static string Utf8ToUtf16(string utf8String)
{
    // Get UTF-8 bytes by reading each byte with ANSI encoding
    byte[] utf8Bytes = Encoding.Default.GetBytes(utf8String);

    // Convert UTF-8 bytes to UTF-16 bytes
    byte[] utf16Bytes = Encoding.Convert(Encoding.UTF8, Encoding.Unicode, utf8Bytes);

    // Return UTF-16 bytes as UTF-16 string
    return Encoding.Unicode.GetString(utf16Bytes);
}

或本机方法：

[DllImport("kernel32.dll")]
private static extern Int32 MultiByteToWideChar(UInt32 CodePage, UInt32 dwFlags, [MarshalAs(UnmanagedType.LPStr)] String lpMultiByteStr, Int32 cbMultiByte, [Out, MarshalAs(UnmanagedType.LPWStr)] StringBuilder lpWideCharStr, Int32 cchWideChar);

public static string Utf8ToUtf16(string utf8String)
{
    Int32 iNewDataLen = MultiByteToWideChar(Convert.ToUInt32(Encoding.UTF8.CodePage), 0, utf8String, -1, null, 0);
    if (iNewDataLen > 1)
    {
        StringBuilder utf16String = new StringBuilder(iNewDataLen);
        MultiByteToWideChar(Convert.ToUInt32(Encoding.UTF8.CodePage), 0, utf8String, -1, utf16String, utf16String.Capacity);

        return utf16String.ToString();
    }
    else
    {
        return String.Empty;
    }
}

如果您需要它，请参阅Utf16ToUtf8。希望我能有所帮助。

于 2013-02-08T14:50:10.137 回答
9

我有显示 UTF-8 编码字符的字符串

.NET 中没有这样的东西。string 类只能以 UTF-16 编码存储字符串。UTF-8 编码的字符串只能作为 byte[] 存在。尝试将字节存储到字符串中不会有好的结果；UTF-8 使用没有有效 Unicode 代码点的字节值。当字符串被规范化时，内容将被销毁。因此，在您的 DecodeFromUtf8() 开始运行时恢复字符串已经为时已晚。

仅使用 byte[] 处理 UTF-8 编码的文本。并使用 UTF8Encoding.GetString() 对其进行转换。

于 2012-07-02T13:12:46.767 回答
4

您所拥有的似乎是string从另一种编码中错误解码的，可能是代码页 1252，这是美国 Windows 的默认设置。假设没有其他损失，这是如何逆转的。一个不立即明显的损失non-breaking space是未显示的字符串末尾的 (U+00A0)。当然最好一开始就正确读取数据源，但也许数据源一开始就存储不正确。

using System;
using System.Text;

class Program
{
    static void Main(string[] args)
    {
        string junk = "déjÃ\xa0";  // Bad Unicode string

        // Turn string back to bytes using the original, incorrect encoding.
        byte[] bytes = Encoding.GetEncoding(1252).GetBytes(junk);

        // Use the correct encoding this time to convert back to a string.
        string good = Encoding.UTF8.GetString(bytes);
        Console.WriteLine(good);
    }
}

结果：

déjà
于 2012-07-02T21:07:47.227 回答