javascript - 如何将大型 UTF-8 字符串转换为 ASCII？

Question

我需要将大型 UTF-8 字符串转换为 ASCII。它应该是可逆的，理想情况下是一种快速/轻量级的算法。

我怎样才能做到这一点？我需要源代码（使用循环）或JavaScript代码。（不应依赖于任何平台/框架/库）

编辑：我知道 ASCII 表示看起来不正确并且会比它的 UTF-8 对应物更大（就字节而言），因为它是 UTF-8 原始的编码形式。

score 11 · Accepted Answer

您可以使用 Douglas Crockford 的 json2.js 引用函数的纯 ASCII 版本。看起来像这样：

    var escapable = /[\\\"\x00-\x1f\x7f-\uffff]/g,
        meta = {    // table of character substitutions
            '\b': '\\b',
            '\t': '\\t',
            '\n': '\\n',
            '\f': '\\f',
            '\r': '\\r',
            '"' : '\\"',
            '\\': '\\\\'
        };

    function quote(string) {

// If the string contains no control characters, no quote characters, and no
// backslash characters, then we can safely slap some quotes around it.
// Otherwise we must also replace the offending characters with safe escape
// sequences.

        escapable.lastIndex = 0;
        return escapable.test(string) ?
            '"' + string.replace(escapable, function (a) {
                var c = meta[a];
                return typeof c === 'string' ? c :
                    '\\u' + ('0000' + a.charCodeAt(0).toString(16)).slice(-4);
            }) + '"' :
            '"' + string + '"';
    }

这将生成一个有效的纯 ASCII、javascript 引用的输入字符串

例如quote("Doppelgänger!")将是“Doppelg\u00e4nger！”

要恢复编码，您可以评估结果

var encoded = quote("Doppelgänger!");
var back = JSON.parse(encoded); // eval(encoded);

score 9 · Accepted Answer

任何可逆转换为 ASCII 的 UTF-8 字符串已经是 ASCII。

UTF-8 可以表示任何 unicode 字符 - ASCII 不能。

score 5 · Accepted Answer

正如其他人所说，您无法在不删除数据的情况下将 UTF-8 text/plain 转换为 ASCII text/plain。

您可以将 UTF-8 文本/纯文本转换为 ASCII 其他/格式。例如，HTML 允许使用字符引用在 ASCII 数据文件中表示 UTF-8 中的任何字符。

如果我们继续这个例子，在 JavaScript 中，charCodeAt可以帮助使用 HTML 字符引用将字符串转换为它的表示。

URLs采用另一种方法，并在 JS 中作为encodeURIComponent实现。

score 3 · Accepted Answer

你的要求很奇怪。

将 UTF-8 转换为 ASCII 会丢失有关 Unicode 代码点 > 127 的所有信息（即所有不属于 ASCII 的信息）。

但是，您可以尝试以 ASCII 兼容的编码（例如UTF-7）对您的 Unicode 数据（无论何种源编码）进行编码。这意味着生成的数据可以合法地解释为 ASCII，但它实际上是 UTF-7。

score 2 · Accepted Answer

如果字符串被编码为 UTF-8，那么它就不再是字符串了。它是二进制数据，如果要将二进制数据表示为 ASCII，则必须将其格式化为可以使用有限的 ASCII 字符集表示的字符串。

一种方法是使用 base-64 编码（C# 中的示例）：

string original = "asdf";
// encode the string into UTF-8 data:
byte[] encodedUtf8 = Encoding.UTF8.GetBytes(original);
// format the data into base-64:
string base64 = Convert.ToBase64String(encodedUtf8);

如果要将字符串编码为 ASCII 数据：

// encode the base-64 string into ASCII data:
byte[] encodedAscii = Encoding.ASCII.GetBytes(base64);

score 1 · Accepted Answer

将UTF-8 字符串转换为 ASCII 是不可能的，但可以将Unicode编码为与 ASCII 兼容的字符串。

可能您想使用Punycode - 这已经是一种标准的 Unicode 编码，可以将所有 Unicode 字符编码为 ASCII。对于 JavaScript 代码检查这个问题

请编辑您的问题标题和描述，以防止其他人对其投反对票 - 不要使用术语转换，使用编码。

score 0 · Accepted Answer

您想去除所有非 ascii 字符（斜线将它们替换为“？”等）还是将 Unicode 代码点存储在非 Unicode 系统中？

首先可以在循环中检查大于 128 的值并替换它们。

如果您不想使用“任何平台/框架/库”，那么您将需要编写自己的编码器。否则我只会使用 JQuery 的 .html();

score 0 · Accepted Answer

这是将 UTF8 重音转换为 ASCII 重音（àéèî 等）的函数是 ASCII 字符。

我在 javascript 软件中使用它来将数据发送到以 ASCII 码工作的微控制器。

convertUtf8ToAscii = function (str) {
    var asciiStr = "";
    var refTable = { // Reference table Unicode vs ASCII
        199: 128, 252: 129, 233: 130, 226: 131, 228: 132, 224: 133, 231: 135, 234: 136, 235: 137, 232: 138,
        239: 139, 238: 140, 236: 141, 196: 142, 201: 144, 244: 147, 246: 148, 242: 149, 251: 150, 249: 151
    };
    for(var i = 0; i < str.length; i++){
        var ascii = refTable[str.charCodeAt(i)];
        if (ascii != undefined)
            asciiStr += "%" +ascii;
        else
            asciiStr += str[i];
    }
    return asciiStr;
}

score 0 · Accepted Answer

function utf8ToAscii(str) {
    /**
     * ASCII contains 127 characters.
     * 
     * In JavaScript, strings is encoded by UTF-16, it means that
     * js cannot present strings which charCode greater than 2^16. Eg:
     * `String.fromCharCode(0) === String.fromCharCode(2**16)`
     *
     * @see https://developer.mozilla.org/en-US/docs/Web/API/DOMString/Binary
     */
    const reg = /[\x7f-\uffff]/g; // charCode: [127, 65535]
    const replacer = (s) => {
        const charCode = s.charCodeAt(0);
        const unicode = charCode.toString(16).padStart(4, '0');
        return `\\u${unicode}`;
    };

    return str.replace(reg, replacer);
}

更好的方法

参见Uint8Array to string in Javascript也。您可以使用TextEncoder和Uint8Array：

function utf8ToAscii(str) {
    const enc = new TextEncoder('utf-8');
    const u8s = enc.encode(str);

    return Array.from(u8s).map(v => String.fromCharCode(v)).join('');
}
// For ascii to string
// new TextDecoder().decode(new Uint8Array(str.split('').map(v=>v.charCodeAt(0))))

score -1 · Accepted Answer

该quote()功能的实现可能会做你想做的事。我的版本可以在这里找到

您可以使用eval()反转编码：

var foo = 'Hägar';
var quotedFoo = quote(foo);
var unquotedFoo = eval(quotedFoo);
alert(foo === unquotedFoo);

javascript - 如何将大型 UTF-8 字符串转换为 ASCII？

10 回答 10

更好的方法

Related

Reference