4

我增加了我的 macbook pro 的最大文件限制，以便 Elasticsearch 可以处理更多文件，但它不起作用。

我运行命令“ulimit -a”，它说“打开的文件”是 100,000。我可以像这样运行一个简单的 shell 脚本：

export counter=0
while (true) ; do touch "/tmp/foo${counter}" ; export counter=`expr $counter + 1` ; done

而且我能够创建很多文件（在我杀死脚本之前超过 60,000 个）。

但是，使用 Java 代码在“/tmp”目录的空子目录中创建 RandomAccessFiles，我只能创建 10,232 个文件，然后我得到错误：java.io.FileNotFoundException (Too many open files)。这是我的Java代码：

import java.io.*;
import java.util.*;

public class max_open_files {
    public static void main(String ... args) throws Exception {
        File testDir = new File("/tmp/tempsubdir");
        testDir.mkdirs();

        List<File> files = new LinkedList<File>();
        List<RandomAccessFile> fileHandles = new LinkedList<RandomAccessFile>();

        try {
            while (true) {
                File f = new File(testDir, "tmp" + fileHandles.size());
                RandomAccessFile raf = new RandomAccessFile(f, "rw");
                files.add(f);
                fileHandles.add(raf);
            }
        } catch (Exception ex) {
            System.out.println(ex.getClass() + " " + ex.getMessage());
        }

        for (RandomAccessFile raf : fileHandles) raf.close()

        for (File f : files) f.delete();

        System.out.println("max open files: " + fileHandles.size());
    }
}

此 java 代码类似于 Elasticsearch 中测试文件数量限制的代码（在 maxOpenFiles 方法中的 FileSystemUtils 类中）。所以 Elasticsearch 和我的 Java 程序有同样的问题。

为什么 shell 脚本可以生成比 Java 代码（我的和 Elasticsearch 的）更多的文件？为什么系统对文件数量的高限制无法被 Java 代码识别？

更新 5 月 13 日下午 4:50 CDT：我创建了一个 C 版本的测试程序，以查看限制是否是 Java 特定的，并且似乎是这样。下面的 C 版本可以打开 32,765 个文件，而 Java 代码限制为 10,232 个文件。

#include <stdio.h>
#include <stdlib.h>

int main(int argc, const char *argv) {
    char name[100];
    FILE *fp;
    int ndx;

    for (ndx = 0; ndx < 50000; ndx++) {
        sprintf(name, "/tmp/foo%d.txt", ndx);
        fp = fopen(name, "w");
        if (fp == NULL) {
            fprintf(stdout, "Can not create file %d\n", ndx);
            return 1;
        }
        fprintf(fp, "hello %d", ndx);
    }

    return 0;
}
4

2 回答 2

13

适用于 Mac 的 Java 虚拟机选项参考

-XX:- MaxFDLimit

指示 VM 避免将文件描述符限制设置为默认最大值。默认行为是将限制设置为 OPEN_MAX 指定的值，即 10240。通常，这是进程可以打开的最大文件数。但是，可以使用 sysctl 实用程序将此限制增加到用户指定的值。在这种情况下，您可能需要通过 -XX:-MaxFDLimit 来阻止 Java VM 将打开文件的数量限制为 10240。

于 2013-05-14T05:31:56.747 回答
4

在 bash 脚本中，您不打开文件，只需创建它们，然后删除对它们的引用。在 Java 版本中，您似乎保留了对它的引用，因此打开了文件的数量。顺便说一句，我现在意识到这并不能真正回答为什么 Java 只能有 10.000 个（VM 的 + 文件）而不是 100.000 个的事实......

于 2013-05-08T22:35:36.543 回答