Práce s DVC vzdálenými úložišti

Úvod do verzování dat s DVC

Ravi Bhadauria

Machine Learning Engineer

Nahrávání a stahování dat

  • Přesun dat z mezipaměti do DVC vzdáleného úložiště
$ dvc push <target>

$ dvc pull <target>
  • Cíle jsou jednotlivé soubory
$ dvc push data.csv
Úvod do verzování dat s DVC

Nahrávání a stahování dat

  • Nahrání celé mezipaměti
$ dvc push
  • Aktualizace mezipaměti bez změny pracovního prostoru
$ dvc fetch
  • Přepsání výchozího vzdáleného úložiště příznakem -r
$ dvc push -r aws_remote data.csv
Úvod do verzování dat s DVC

Podobnosti s Gitem

dvc pull

  • Funkce: Stáhne vzdálená data do pracovního prostoru DVC

  • Použití: Velké datové sady nebo artefakty modelů

dvc push

  • Funkce: Nahraje data do vzdáleného úložiště

  • Použití: Sdílení nebo ukládání datových artefaktů

git pull

  • Funkce: Načte/sloučí data ze vzdáleného Git repozitáře

  • Použití: Synchronizace lokální větve se vzdálenou

git push

  • Funkce: Nahraje lokální změny do vzdáleného úložiště

  • Použití: Sdílení změn do Git vzdáleného úložiště

Úvod do verzování dat s DVC

Verzování dat

  • .dvc je sledován Gitem, nikoliv DVC

  • Využijte to k přepnutí na konkrétní verzi datového souboru

  • Přepněte soubor .dvc

$ git checkout <commit_hash|tag|branch>
  • Načtěte data dle MD5 uvedeného v souboru .dvc
$ dvc checkout <target>
Úvod do verzování dat s DVC

Sledování změn dat

  • Změňte obsah datového souboru, poté přidejte změny
$ dvc add <target>
  • Potvrďte změněný soubor .dvc do Gitu
$ git add <target>.dvc
$ git commit <target>.dvc \
    -m "Dataset updates"
  • Nahrajte metadata do Gitu
$ git push origin main
  • Nahrajte změněný datový soubor
$ dvc push
Úvod do verzování dat s DVC

Pojďme procvičovat!

Úvod do verzování dat s DVC

Preparing Video For Download...