DVC-remotes configureren

Introductie tot dataversiebeheer met DVC

Ravi Bhadauria

Machine Learning Engineer

Herhaling

DVC-repo initialiseren
- Voer dvc init uit
- Repo binnen workspace (/path/to/my-project)
DVC-cache instellen
- Tijdelijke stagingruimte in de map .dvc
  - /path/to/my-project/.dvc/cache
- Stage tijdelijke bestanden met dvc add
Nu: DVC-remotes
- Externe opslag
- Assets volgen en delen

DVC-remotes: locatie voor dataopslag
Zoals Git-remotes, maar voor gecachete data
Voordelen
- Synchroniseer grote bestanden en mappen
- Centraliseer of distribueer opslag
- Bespaar lokale ruimte

Schematische weergave van datastroom van DVC-werkruimte naar cache en remote

Grafiek van ondersteunde opslagtypes in DVC

$ dvc remote add s3_remote \
   s3://mys3bucket

 ['remote "s3_remote"']
     url = s3://mys3bucket

$ dvc remote add gcp_remote \
   gs://myGCPbucket

$ dvc remote add azure_remote \
   azure://mycontainer/path

$ dvc remote add mylocalremote /tmp/dvc

$ dvc remote add -d mylocalremote /tmp/dvc

[core]
remote = mylocalremote

$ dvc remote list

s3_remote    s3://mys3bucket
local_remote /tmp/dvcremote

 ['remote "s3_remote"']
     url = s3://mys3bucket
 ['remote "local_remote"']
     url = /tmp/dvcremote

$ dvc remote modify s3_remote connect_timeout 300

 ['remote "s3_remote"']
     url = s3://mys3bucket
     connect_timeout = 300

DVC-remotes delen data en ML-modellen
Ondersteunen diverse lokale en cloudopslag
Remotes toevoegen: dvc remote add
- Gebruik -d om de standaard in te stellen
Remotes weergeven: dvc remote list
Remotes wijzigen: dvc remote modify

Introductie tot dataversiebeheer met DVC