5

在尝试识别没有 BOM 的文件的编码时遇到问题，特别是当文件以非 ascii 字符开头时。

我发现了以下两个关于如何识别文件编码的主题，

目前，我创建了一个类来识别文件的不同编码（例如 UTF-8、UTF-16、UTF-32、UTF-16 no BOM 等），如下所示，

public class UnicodeReader extends Reader {
private static final int BOM_SIZE = 4;
private final InputStreamReader reader;

/**
 * Construct UnicodeReader
 * @param in Input stream.
 * @param defaultEncoding Default encoding to be used if BOM is not found,
 * or <code>null</code> to use system default encoding.
 * @throws IOException If an I/O error occurs.
 */
public UnicodeReader(InputStream in, String defaultEncoding) throws IOException {
    byte bom[] = new byte[BOM_SIZE];
    String encoding;
    int unread;
    PushbackInputStream pushbackStream = new PushbackInputStream(in, BOM_SIZE);
    int n = pushbackStream.read(bom, 0, bom.length);

    // Read ahead four bytes and check for BOM marks.
    if ((bom[0] == (byte) 0xEF) && (bom[1] == (byte) 0xBB) && (bom[2] == (byte) 0xBF)) {
        encoding = "UTF-8";
        unread = n - 3;
    } else if ((bom[0] == (byte) 0xFE) && (bom[1] == (byte) 0xFF)) {
        encoding = "UTF-16BE";
        unread = n - 2;
    } else if ((bom[0] == (byte) 0xFF) && (bom[1] == (byte) 0xFE)) {
        encoding = "UTF-16LE";
        unread = n - 2;
    } else if ((bom[0] == (byte) 0x00) && (bom[1] == (byte) 0x00) && (bom[2] == (byte) 0xFE) && (bom[3] == (byte) 0xFF)) {
        encoding = "UTF-32BE";
        unread = n - 4;
    } else if ((bom[0] == (byte) 0xFF) && (bom[1] == (byte) 0xFE) && (bom[2] == (byte) 0x00) && (bom[3] == (byte) 0x00)) {
        encoding = "UTF-32LE";
        unread = n - 4;
    } else {
        // No BOM detected but still could be UTF-16
        int found = 0;
        for (int i = 0; i < 4; i++) {
            if (bom[i] == (byte) 0x00)
                found++;
        }

        if(found >= 2) {
            if(bom[0] == (byte) 0x00){
                encoding = "UTF-16BE";
            }
            else {
                encoding = "UTF-16LE";
            }
            unread = n;
        }
        else {
            encoding = defaultEncoding;
            unread = n;
        }
    }

    // Unread bytes if necessary and skip BOM marks.
    if (unread > 0) {
        pushbackStream.unread(bom, (n - unread), unread);
    } else if (unread < -1) {
        pushbackStream.unread(bom, 0, 0);
    }

    // Use given encoding.
    if (encoding == null) {
        reader = new InputStreamReader(pushbackStream);
    } else {
        reader = new InputStreamReader(pushbackStream, encoding);
    }
}

public String getEncoding() {
    return reader.getEncoding();
}

public int read(char[] cbuf, int off, int len) throws IOException {
    return reader.read(cbuf, off, len);
}

public void close() throws IOException {
    reader.close();
}

}

上面的代码在所有情况下都可以正常工作，除非文件没有 BOM 并且以非 ascii 字符开头。由于在这种情况下，检查文件是否仍然是 UTF-16 而没有 BOM 的逻辑将无法正常工作，编码将默认设置为 UTF-8。

如果有一种方法可以检查没有 BOM 的文件的编码并以非 ascii 字符开头，尤其是对于 UTF-16 NO BOM 文件？

谢谢，任何想法将不胜感激。

4

3 回答 3

1

一般来说，如果没有提供编码，就无法确定编码。

您可能会通过文本中的特定模式（高位设置、设置、设置、未设置、设置、设置、设置、未设置）猜测 UTF-8，但这仍然是猜测。

UTF-16 很难；您可以在同一个流上成功解析 BE 和 LE；两种方式都会产生一些字符（尽管可能是无意义的文本）。

那里的一些代码使用统计分析来通过符号的频率猜测编码，但这需要对文本（即“这是一个蒙古文本”）和频率表（可能与文本不匹配）进行一些假设。归根结底，这只是一个猜测，在 100% 的情况下无济于事。

于 2011-04-14T02:01:30.830 回答
1

最好的方法是不要尝试自己实施。而是使用现有的库来执行此操作；请参阅Java：如何确定流的正确字符集编码。例如：

应该注意的是，可以做的最好的事情是猜测文件最可能的编码。在一般情况下，不可能 100% 确定您找到了正确的编码。即创建文件时使用的编码。

我想说这些第三方库也无法识别我遇到的文件的编码 [...] 他们可以改进以满足我的要求。

或者，您可以认识到您的要求非常难以满足……然后改变它；例如

  • 将自己限制在一组特定的编码中，
  • 坚持提供/上传文件的人正确说明其编码（或主要语言）是什么，和/或
  • 接受您的系统在一定百分比的时间内会出错，并提供一种方法，让某人可以纠正错误陈述/猜测的编码。

面对事实：这是一个理论上无法解决的问题。

于 2011-04-14T02:01:52.703 回答
0

如果您确定它是一个有效的 Unicode 流，那么它必须是 UTF-8，如果它没有 BOM（因为既不需要也不推荐 BOM），如果它确实有，那么您就知道它是什么了。

如果只是一些随机编码，则无法确定。你所能期望的最好的结果就是有时会出错，因为不可能在所有情况下都正确猜测。

如果您可以将可能性限制在一个非常小的子集中，则可以提高您猜测正确的几率。

唯一可靠的方法是要求提供者告诉你他们提供了什么。如果您想要完全的可靠性，那是您唯一的选择。如果您不需要可靠性，那么您会猜测——但有时会猜错。

我觉得你一定是 Windows 人，因为我们其他人一开始就很少有 BOM 的原因。我知道我经常处理 tgigabytes 的文本（在 Mac、Linux、Solaris 和 BSD 系统上），其中 99% 以上是 UTF-8，而且我只遇到过两次包含 BOM 的文本。不过，我听说 Windows 用户一直都被它所困扰。如果属实，这可能会使您的选择更容易，也可能不会。

于 2011-04-14T02:16:33.457 回答