6

在以下使用 OpenJDK 1.6.0_22 在 Linux 中运行的 Java 程序中,我简单地列出了在命令行中作为参数获取的目录的内容。该目录包含具有 UTF-8 文件名的文件(例如印地语、普通话、德语等)。

import java.io.*;

class ListDir {

    public static void main(String[] args) throws Exception {
    //System.setProperty("file.encoding", "en_US.UTF-8");
        System.out.println(System.getProperty("file.encoding"));
    File f = new File(args[0]);
    for(String c : f.list()) {
        String absPath = args[0] + "" + c;
        File cf = new File(args[0] + "/" + c);
        System.out.println(cf.getAbsolutePath() + " --> " + cf.exists());
    }
    }
}

如果我将 LC_ALL 变量设置为 en_US.UTF-8,则结果打印得很好。但是,如果我将 LC_ALL 变量设置为 POSIX 并从命令行以 UTF-8 格式提供 file.encoding 和 sun.jnu.encoding 属性,我会得到垃圾输出并且 cf.exists() 返回 false。

你能解释一下这种行为吗?正如我在许多网站上阅读的那样,据说 file.encoding 足以读取文件名并将它们用于操作。在这里,该属性看起来根本没有效果。

更新 1:如果我将 file.encoding 设置为 GBK(中文)并将 LC_ALL 变量设置为 en_US.UTF-8,则 cf.exists() 返回 true。只有 '?' 出现而不是文件名。惊喜o_O。

更新 2:更多调查,看起来它不是 Java 问题。看起来 Linux 上的 libc 使用语言环境设置来转换文件名编码,这些设置将导致找不到文件错误/异常。“file.encoding”用于 Java 解释文件名的方式。

更新 3现在看起来问题是 Java 如何解释文件名。无论文件编码和 LC_ALL 环境变量的值如何,以下简单的 C 代码都可以在 Linux 上运行(我很高兴这证明了这里给出的答案:https ://unix.stackexchange.com/questions/39175/understanding-unix-file-名称编码)。但我仍然不清楚 Java 如何解释 LC_ALL 变量。现在研究 OpenJDK 代码。

示例 C 代码:

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <dirent.h>

int main(int argc, char *argv[])
{
    char *argdir = argv[1];
    DIR *dp = opendir(argdir);
    struct dirent *de;
    while(de = readdir(dp)) {
        char *abspath = (char *) malloc(strlen(argdir)  + 1 + strlen(de->d_name) + 1);
        strcpy(abspath, argdir);
        abspath[strlen(argdir)] = '/';
        strcpy(abspath + strlen(argdir) + 1, de->d_name);
        printf("%d %s ", de->d_type, abspath);
        FILE *fp = fopen(abspath, "r");
        if (fp) {
            printf("Success");
        }
        fclose(fp);
        putchar('\n');
    }
}
4

3 回答 3

10

注意:所以最后我认为我已经确定了。我不确认它是正确的。但是通过一些代码阅读和测试,这是我发现的,我没有额外的时间来研究它。如果有人有兴趣,他们可以检查一下并判断这个答案是对还是错 - 我会很高兴:)

我使用的参考来自 OpenJDK 网站上的这个 tarball: openjdk-6-src-b25-01_may_2012.tar.gz

  1. Java 在此方法中本机将所有字符串转换为平台的本地编码:jdk/src/share/native/common/jni_util.c - JNU_GetStringPlatformChars(). 系统属性sun.jnu.encoding用于确定平台的编码。

  2. 的值sun.jnu.encoding设置为jdk/src/solaris/native/java/lang/java_props_md.c - GetJavaProperties()使用setlocale()libc 的方法。环境变量LC_ALL用于设置 的值sun.jnu.encoding-Dsun.jnu.encoding使用Java 选项在命令提示符处给出的值将被忽略。

  3. 调用File.exists()已编码在文件中jdk/src/share/classes/java/io/File.java,它返回为

    return ((fs.getBooleanAttributes(this) & FileSystem.BA_EXISTS) != 0);

  4. getBooleanAttributes()jdk/src/share/native/java/io/UnixFileSystem_md.c在函数 中是本机编码的(并且我跳过了浏览许多文件的代码步骤)Java_java_io_UnixFileSystem_getBooleanAttributes0():. 这里宏 WITH_FIELD_PLATFORM_STRING(env, file, ids.path, path)将路径字符串转换为平台的编码。

  5. 所以转换为错误的编码实际上会发送一个错误的 C 字符串(char 数组)到随后的stat()方法调用。它将返回找不到文件的结果。

教训: LC_ALL很重要

于 2012-07-09T14:11:47.820 回答
5

我不确定你在哪里读到的file.encoding。我没有看到它与其他标准属性System.getProperties一起提到,如. 但是从我的实验来看,这个值似乎影响了文件内容的编码,而不是文件。如果is System.out,特别是不会打印非 ASCII 字符。file.encodingPOSIX

另一方面,Linux 决定哪种编码适用于文件名的方式是LC_CTYPE当前语言环境设置的一个方面。我认为 Java 没有理由重写它。由于许多其他平台(尤其是 Windows)总是使用 Unicode 来表示文件名,而不是字节,因此将文件系统的字节级细节暴露给 Java 应用程序几乎没有意义。

于 2012-07-05T12:47:36.117 回答
2

请参阅java.com 上的错误 4163515。它解释说:

  1. file.encoding 特定于 Sun(现在是 Oracle)的 JVM 实现 - 其他人可能不支持它
  2. 应被视为只读
  3. 要更改它,您应该修改 JVM 运行的环境(这就是您对 LC_ALL 所做的)

另请注意,即使更改 file.encoding 对您的平台“有效”,您也不应这样做 - 因为它通常不会更改 Oracle JVM 使用的默认编码,而只会在某些子系统中更改。由于该错误显示采用字节数组的 String 构造函数使用的默认编码不受此设置的影响。

于 2014-10-08T10:38:47.890 回答