我正在尝试为具有高性能并行 IO 的 HPC 架构优化深度学习计算机视觉管道。将大量文件存储在单个目录中是此类系统的反模式。如果我可以收集图像并将它们写入单个大文件,将会实现更好的 IO 性能。
哪些文件格式最适合这项任务?是否存在将大量图像文件写入单个二进制文件格式的 Python 库?我遇到了GEIS文件,这些文件看起来适合用途,但找不到演示用法的示例。
我正在尝试为具有高性能并行 IO 的 HPC 架构优化深度学习计算机视觉管道。将大量文件存储在单个目录中是此类系统的反模式。如果我可以收集图像并将它们写入单个大文件,将会实现更好的 IO 性能。
哪些文件格式最适合这项任务?是否存在将大量图像文件写入单个二进制文件格式的 Python 库?我遇到了GEIS文件,这些文件看起来适合用途,但找不到演示用法的示例。