我有一个程序可以生成大量小文件(比如 10,000 个文件)。创建它们之后,另一个脚本会访问它们并一一处理。
问题:
- 就性能而言,文件的组织方式是否重要(都在一个目录或多个目录中)
- 如果是这样,那么每个目录的最佳目录和文件数是多少?
我用ext4文件系统运行 Debian
有关的
我有一个程序可以生成大量小文件(比如 10,000 个文件)。创建它们之后,另一个脚本会访问它们并一一处理。
问题:
我用ext4文件系统运行 Debian
有关的
单个文件夹中的 10k 个文件在 Ext4 上不是问题。它应该dir_index
默认启用该选项,该选项使用类似 btree 的结构索引目录内容以防止性能问题。
综上所述,除非您创建数百万个文件或使用 ext2/ext3,否则您不必担心系统或 FS 性能问题。
话虽如此,shell 工具和命令不喜欢以大量文件作为参数(rm *
例如)被调用,并且可能会返回一条错误消息,例如“参数太多”。看看这个答案会发生什么。