Interacțiunea cu DVC Remotes

Introducere în versionarea datelor cu DVC

Ravi Bhadauria

Machine Learning Engineer

Încărcarea și recuperarea datelor

  • Mutarea datelor din cache în DVC remote
$ dvc push <target>

$ dvc pull <target>
  • Țintele sunt fișiere individuale
$ dvc push data.csv
Introducere în versionarea datelor cu DVC

Încărcarea și recuperarea datelor

  • Trimiteți întregul cache
$ dvc push
  • Actualizați cache-ul fără a modifica spațiul de lucru
$ dvc fetch
  • Suprascrieți remote-ul implicit cu flag-ul -r
$ dvc push -r aws_remote data.csv
Introducere în versionarea datelor cu DVC

Similarități cu Git

dvc pull

  • Funcție: Descarcă datele remote în spațiul de lucru DVC

  • Caz de utilizare: Seturi de date mari sau artefacte de model

dvc push

  • Funcție: Încarcă datele în stocarea remote

  • Caz de utilizare: Partajarea sau stocarea artefactelor de date

git pull

  • Funcție: Preia/Îmbină date din repo Git remote

  • Caz de utilizare: Sincronizarea ramurii locale cu remote-ul

git push

  • Funcție: Încarcă modificările locale în remote

  • Caz de utilizare: Partajarea modificărilor în Git remote

Introducere în versionarea datelor cu DVC

Versionarea datelor

  • .dvc este urmărit de Git, nu de DVC

  • Utilizați aceasta pentru a accesa o versiune specifică a fișierului de date

  • Accesați fișierul .dvc

$ git checkout <commit_hash|tag|branch>
  • Recuperați datele cu MD5 specificat în fișierul .dvc
$ dvc checkout <target>
Introducere în versionarea datelor cu DVC

Urmărirea modificărilor datelor

  • Modificați fișierul de date, apoi adăugați modificările
$ dvc add <target>
  • Comiteți fișierul .dvc modificat în Git
$ git add <target>.dvc
$ git commit <target>.dvc \
    -m "Dataset updates"
  • Trimiteți metadatele în Git
$ git push origin main
  • Încărcați fișierul de date modificat
$ dvc push
Introducere în versionarea datelor cu DVC

Să exersăm!

Introducere în versionarea datelor cu DVC

Preparing Video For Download...