Konfigurera DVC-fjärrar

Introduktion till dataversionshantering med DVC

Ravi Bhadauria

Machine Learning Engineer

Repetition

Initierar DVC-repository
- Kör dvc init
- Repo i arbetsytan (/path/to/my-project)
Konfigurerar DVC-cache
- Tillfälligt mellanlagringsområde i .dvc-katalogen
  - /path/to/my-project/.dvc/cache
- Mellanlagra filer med dvc add
Nu: DVC-fjärrar
- Extern lagring
- Spåra och dela resurser

DVC-fjärrar: plats för datalagring
Liknar Git-fjärrar, men för cachad data
Fördelar med fjärrar
- Synkronisera stora filer och kataloger
- Centralisera eller distribuera datalagring
- Spara lokalt utrymme

Schematisk bild av dataflöde från DVC-arbetsyta till cache och fjärr

Grafik över lagringstyper som stöds i DVC

$ dvc remote add s3_remote \
   s3://mys3bucket

 ['remote "s3_remote"']
     url = s3://mys3bucket

$ dvc remote add gcp_remote \
   gs://myGCPbucket

$ dvc remote add azure_remote \
   azure://mycontainer/path

$ dvc remote add mylocalremote /tmp/dvc

$ dvc remote add -d mylocalremote /tmp/dvc

[core]
remote = mylocalremote

$ dvc remote list

s3_remote    s3://mys3bucket
local_remote /tmp/dvcremote

 ['remote "s3_remote"']
     url = s3://mys3bucket
 ['remote "local_remote"']
     url = /tmp/dvcremote

$ dvc remote modify s3_remote connect_timeout 300

 ['remote "s3_remote"']
     url = s3://mys3bucket
     connect_timeout = 300

Introduktion till dataversionshantering med DVC