Interagera med DVC-remotes

Introduktion till dataversionshantering med DVC

Ravi Bhadauria

Machine Learning Engineer

Ladda upp och hämta data

  • Flytta data från cache till DVC-remote
$ dvc push <target>

$ dvc pull <target>
  • Targets är enskilda filer
$ dvc push data.csv
Introduktion till dataversionshantering med DVC

Ladda upp och hämta data

  • Pusha hela cachen
$ dvc push
  • Uppdatera cachen utan att ändra arbetsytans innehåll
$ dvc fetch
  • Åsidosätt standard-remote med flaggan -r
$ dvc push -r aws_remote data.csv
Introduktion till dataversionshantering med DVC

Likheter med Git

dvc pull

  • Funktion: Laddar ned data från remote till DVC-arbetsytan

  • Användningsfall: Stora datamängder eller modellartefakter

dvc push

  • Funktion: Laddar upp data till fjärrlagring

  • Användningsfall: Dela eller lagra dataartefakter

git pull

  • Funktion: Hämtar/slår ihop data från remote Git-repo

  • Användningsfall: Håller lokal gren synkad med remote

git push

  • Funktion: Laddar upp lokala ändringar till remote

  • Användningsfall: Delar ändringar till Git-remote

Introduktion till dataversionshantering med DVC

Versionera data

  • .dvc spåras av Git, inte DVC

  • Använd detta för att checka ut en specifik version av en datafil

  • Checka ut .dvc-filen

$ git checkout <commit_hash|tag|branch>
  • Hämta data med MD5 som anges i .dvc-filen
$ dvc checkout <target>
Introduktion till dataversionshantering med DVC

Spåra dataändringar

  • Ändra datafilens innehåll och lägg sedan till datamängdsändringarna
$ dvc add <target>
  • Committa den ändrade .dvc-filen till Git
$ git add <target>.dvc
$ git commit <target>.dvc \
    -m "Dataset updates"
  • Pusha metadata till Git
$ git push origin main
  • Ladda upp den ändrade datafilen
$ dvc push
Introduktion till dataversionshantering med DVC

Nu kör vi en övning!

Introduktion till dataversionshantering med DVC

Preparing Video For Download...