Configurare i remote DVC

Introduzione al versionamento dei dati con DVC

Ravi Bhadauria

Machine Learning Engineer

Ripasso

Inizializzare il repository DVC
- Esegui dvc init
- Repo dentro la workspace (/path/to/my-project)
Configurare la cache DVC
- Area di staging temporanea nella directory .dvc
  - /path/to/my-project/.dvc/cache
- Metti in stage file temporanei con dvc add
Ora: Remote DVC
- Storage esterno
- Traccia e condividi asset

Remote DVC: posizione per l’archiviazione dei dati
Simili ai remote Git, ma per dati in cache
Vantaggi dei remote
- Sincronizza file e directory grandi
- Centralizza o distribuisci lo storage
- Risparmia spazio locale

Schema del flusso dati dalla workspace DVC alla cache e al remote

Grafica dei tipi di storage supportati in DVC

$ dvc remote add s3_remote \
   s3://mys3bucket

 ['remote "s3_remote"']
     url = s3://mys3bucket

$ dvc remote add gcp_remote \
   gs://myGCPbucket

$ dvc remote add azure_remote \
   azure://mycontainer/path

$ dvc remote add mylocalremote /tmp/dvc

$ dvc remote add -d mylocalremote /tmp/dvc

[core]
remote = mylocalremote

$ dvc remote list

s3_remote    s3://mys3bucket
local_remote /tmp/dvcremote

 ['remote "s3_remote"']
     url = s3://mys3bucket
 ['remote "local_remote"']
     url = /tmp/dvcremote

$ dvc remote modify s3_remote connect_timeout 300

 ['remote "s3_remote"']
     url = s3://mys3bucket
     connect_timeout = 300

I remote DVC servono per condividere dati e modelli ML
Supportano vari storage locali e cloud
Aggiungi remote: dvc remote add
- Usa il flag -d per impostare il predefinito
Elenca i remote: dvc remote list
Modifica i remote: dvc remote modify

Introduzione al versionamento dei dati con DVC