20

我有一个程序可以生成大量小文件(比如 10,000 个文件)。创建它们之后,另一个脚本会访问它们并一一处理。

问题:

  • 就性能而言,文件的组织方式是否重要(都在一个目录或多个目录中)
  • 如果是这样,那么每个目录的最佳目录和文件数是多少?

我用ext4文件系统运行 Debian

有关的

4

1 回答 1

14

单个文件夹中的 10k 个文件在 Ext4 上不是问题。它应该dir_index默认启用该选项,该选项使用类似 btree 的结构索引目录内容以防止性能问题。

综上所述,除非您创建数百万个文件或使用 ext2/ext3,否则您不必担心系统或 FS 性能问题。

话虽如此,shell 工具和命令不喜欢以大量文件作为参数(rm *例如)被调用,并且可能会返回一条错误消息,例如“参数太多”。看看这个答案会发生什么。

于 2012-10-24T16:14:31.770 回答