我有几个项目正在使用和更新相同的数据源。我最近了解了dvc 的数据注册表,这听起来像是跨这些不同项目(例如刮板、计算管道)对数据进行版本控制的好方法。
我已将所有相关数据放入data-registry其中,然后将相关文件导入到刮板项目中:
$ poetry run dvc import https://github.com/username/data-registry raw
whereraw是存储抓取数据的目录。这似乎工作正常,但是当我去构建一个 dvc 管道,将数据输出到一个已经被 dvc 跟踪的文件中时,我得到了一个错误:
$ dvc run -n menu_items -d src/ -o raw/menu_items/restaurant.jsonl scrapy crawl restaurant
ERROR: Paths for outs:
'raw'('raw.dvc')
'raw/menu_items/restaurant.jsonl'('menu_items')
overlap. To avoid unpredictable behaviour, rerun command with non overlapping outs paths.
有人可以帮我理解这里发生了什么吗?使用数据注册表跨项目共享和更新数据的最佳方式是什么?
理想情况下,我希望使用来自刮板项目的新数据更新数据注册表,然后允许其他相关项目在准备好时更新其数据。