keras - Keras - 关于性能 - bcolz 比使用数据生成器更好吗？

Question

我正在努力解决以下几点：

1. 什么时候应该使用 bcolz 来代替 keras 的数据生成器？看起来 kerasmodel有 api 来接受带有批处理的数组或定义数据生成器。
2. 使用带有 api 的 bcolz 是否fit()比使用带有 的数据生成器有性能改进fit_generator()？

最后，有一个 fastai 帖子在这个帖子中提到了 dask

1. dask 比 bcolz 好吗？

谢谢！

Answer 1

1. Keras 数据生成器的 flow_from_directory(directory) 只接受“PNG、JPG、BMP 或 PPM”图像，你可以扩展它，但 bcolz 是一个快速修复。这就是为什么 bcolz 非常适合预先计算的卷积特征。因此，将这些特征保存为 bcolz 数组并将它们加载到 fit_generator 的批次中。
2. 带有数据生成器（可能是 bcolz 数据生成器）的 fit_generator() 将比仅适用于 bcolz 更快。

Dask 比 bcolz 好吗？Dask 并不是 bcolz 的严格替代品，Dask 可以使用 bcolz 数组。在具有大量数据集的任务中，它可以提供加速，因为它对并行性有很好的支持。Bcolz 是一个不错的压缩数据容器，如果您需要加快速度，我建议在 bcolz 之上使用 dask。