Interagera med DVC-remotes
CI/CD för maskininlärning
Ravi Bhadauria
Machine Learning Engineer
Förstå DVC-remotes
- DVC-remotes: plats för datalagring
- Liknar Git-remotes, men för cachad data
- Fördelar med att använda remotes
- Synkronisera stora filer och kataloger
- Centralisera eller distribuera datalagring
- Spara lokalt lagringsutrymme
- Lagringstyper som stöds
- Amazon S3, GCS, Google Drive
- SSH, HTTP, lokala filsystem
Konfigurera remotes
- Lägg till remotes med kommandot
dvc remote add - För AWS
dvc remote add myAWSremote s3://mybucket
- Anpassa med
dvc remote modify
dvc remote modify myAWSremote connect_timeout 300
- Ändring i
.dvc/config
['remote "myAWSremote"']
url = s3://mybucket
connect_timeout = 300
Lokala och standardremotes
- Lokala remotes används för snabb prototyputveckling
- Använd systemkataloger eller nätverkslagring (NAS)
dvc remote add mylocalremote /tmp/dvc
- Ange standardremote med flaggan
-d
dvc remote add -d mylocalremote /tmp/dvc
- Standardremote anges i
core-sektionen i.dvc/config
[core]
remote = mylocalremote
Ladda upp och hämta data
Kommandon för att överföra data
- Skicka till remote:
dvc push <target> - Hämta från remote:
dvc pull <target>
- Skicka till remote:
Liknar
git pushochgit pull.dvcspåras av Git, inte DVC
- Mål kan vara enskilda filer:
dvc push data.csv- Eller hela cachen:
dvc push
- Eller hela cachen:
- Åsidosätt standardremote med flaggan
-r
dvc push -r myAWSremote data.csv
Spåra dataändringar
- Ändra datafilens innehåll och lägg sedan till ändringarna
dvc add /path/to/data/datafile
- Commita den ändrade
.dvc-filen till Git
git add /path/to/datafile.dvc
git commit /path/to/datafile.dvc -m "Dataset updates"
- Skicka metadata till Git
git push origin main
- Ladda upp den ändrade datafilen
dvc push
Nu kör vi en övning!
CI/CD för maskininlärning
