Configurarea remote-urilor DVC

Introducere în versionarea datelor cu DVC

Ravi Bhadauria

Machine Learning Engineer

Recapitulare

  • Inițializarea unui depozit DVC
    • Rulați dvc init
    • Depozit în spațiul de lucru (/path/to/my-project)
  • Configurarea cache-ului DVC
    • Zonă de staging temporară în directorul .dvc
      • /path/to/my-project/.dvc/cache
    • Adăugați fișiere temporare cu dvc add
  • Acum: DVC Remotes
    • Stocare externă
    • Urmăriți și partajați resurse
Introducere în versionarea datelor cu DVC

Necesitatea remote-urilor DVC

  • Remote-uri DVC: locație pentru stocarea datelor
  • Similare cu remote-urile Git, dar pentru date din cache
  • Avantajele utilizării remote-urilor
    • Sincronizarea fișierelor și directoarelor mari
    • Centralizarea sau distribuirea stocării datelor
    • Economisirea spațiului local

Schemă a fluxului de date din spațiul de lucru DVC către cache și remote

Introducere în versionarea datelor cu DVC

Tipuri de stocare acceptate

Grafic cu tipurile de stocare acceptate în DVC

Introducere în versionarea datelor cu DVC

Configurarea remote-urilor

  • Configurarea remote-urilor

    • dvc remote add <name> <location>
  • Bucket S3

$ dvc remote add s3_remote \
   s3://mys3bucket
  • Modificări în configurarea DVC
 ['remote "s3_remote"']
     url = s3://mys3bucket
  • Bucket GCP
$ dvc remote add gcp_remote \
   gs://myGCPbucket
  • Azure
$ dvc remote add azure_remote \
   azure://mycontainer/path
Introducere în versionarea datelor cu DVC

Remote-uri locale

  • Remote-urile locale sunt utilizate pentru prototipare rapidă
  • Se folosesc directoare de sistem sau stocare NAS
$ dvc remote add mylocalremote /tmp/dvc
  • Setați remote-ul implicit cu indicatorul -d
$ dvc remote add -d mylocalremote /tmp/dvc
  • Remote-ul implicit este definit în secțiunea core din .dvc/config
[core]
remote = mylocalremote
Introducere în versionarea datelor cu DVC

Listarea remote-urilor

  • Listarea remote-urilor
$ dvc remote list
s3_remote    s3://mys3bucket
local_remote /tmp/dvcremote
  • Citește din .dvc/config
 ['remote "s3_remote"']
     url = s3://mys3bucket
 ['remote "local_remote"']
     url = /tmp/dvcremote
Introducere în versionarea datelor cu DVC

Modificarea configurației remote-urilor

  • Personalizările se fac cu dvc remote modify
$ dvc remote modify s3_remote connect_timeout 300
  • Modificare în fișierul de configurare DVC
 ['remote "s3_remote"']
     url = s3://mys3bucket
     connect_timeout = 300
Introducere în versionarea datelor cu DVC

Rezumat

  • Remote-urile DVC sunt utilizate pentru partajarea datelor și modelelor ML
  • Sunt acceptate diverse locații de stocare locale și în cloud
  • Adăugare remote: dvc remote add
    • Folosiți indicatorul -d pentru a specifica implicit
  • Listare remote-uri: dvc remote list
  • Modificare remote-uri: dvc remote modify
Introducere în versionarea datelor cu DVC

Să exersăm!

Introducere în versionarea datelor cu DVC

Preparing Video For Download...