Introduktion till DVC

Introduktion till dataversionshantering med DVC

Ravi Bhadauria

Machine Learning Engineer

Git som versionshantering

  • Versionshanteringssystem för kod
  • Oberoende lokal utveckling
    • Förgreningar och sammanslagningar
    • Hantering av versionshistorik
  • Möjliggör samarbete

Schematisk bild av Gits decentraliserade modell

Introduktion till dataversionshantering med DVC

Git som versionshantering

  • CLI-baserad interaktion
  • Körs i terminalen, även kallad shell
  • Git spårar innehåll via ett repository
    • Faktiska filer och mappar som spåras
    • Git-metadata (i mappen .git)

Bild av Git-repositorystruktur

Introduktion till dataversionshantering med DVC

Dataversionshantering (DVC)

  • DVC: verktyg för dataversionshantering
    • Hanterar data och experiment
    • Liknar Git

Konceptbild av dataversionshantering med Git och DVC

  • Git spårar metadata, DVC hanterar dataversioner
Introduktion till dataversionshantering med DVC

Git vs DVC CLI

Git

  • Initiera ett repository i arbetsmappen
$ git init
  • Lägga till filer i repository (förbered ändringar)
$ git add code.py
  • Bekräfta ändringar (i versionshistoriken)
$ git commit -m "adding first file"

DVC

  • Initiera ett DVC-repository i arbetsmappen
$ dvc init
  • Lägga till datafiler i DVC
$ dvc add data/mydata.csv
  • Uppdatera alla spårade datafiler
$ dvc commit
Introduktion till dataversionshantering med DVC

Git vs DVC CLI

Git

  • Pusha kodändringar till fjärrserver
$ git push
  • Hämta ändringar från fjärrserver
$ git pull
  • Klona ett befintligt repository från fjärrserver (Github)
$ git clone \
https://github.com/username/repository-name.git

DVC

  • Pusha dataändringar till fjärrdataserver
$ dvc push
  • Synkronisera ditt DVC-projekt
$ dvc pull
  • Ladda ned en fil eller mapp spårad av DVC
$ dvc get \
https://github.com/username/repo-name model.pkl
Introduktion till dataversionshantering med DVC

Nu kör vi en övning!

Introduktion till dataversionshantering med DVC

Preparing Video For Download...