我们开始使用dvc 和 git 来控制机器学习项目的版本控制。对于 dvc 远程存储,我们使用谷歌云存储。
我们的数据集是 OCR 数据集,包含超过 100000 张小图像,总大小约为 200 MB。使用 dvc 跟踪这个数据集,我们遇到了下一个问题:
- 添加用于跟踪的数据集需要花费大量时间。
- 上传很慢。
- 下载非常慢。
- 在数据集中更新/删除/添加一个图像会导致 dvc 重新计算很多东西:哈希等....
从另一种方式来看,如果我们压缩我们的数据集并将其作为单个文件进行跟踪,dvc 的工作速度就足够快了。但问题是这样我们无法跟踪特定文件的更改。
目标是对具有大量文件的数据集进行版本控制,并具有下一个功能。
- 跟踪每个文件。
- 只提交更改而不是整个数据集。
- 快速结帐/拉
任何关于更好解决方案的建议都可以接受。