Práce se vzdálenými úložišti DVC
CI/CD pro Machine Learning
Ravi Bhadauria
Machine Learning Engineer
Porozumění DVC remotes
- DVC Remote: umístění pro ukládání dat
- Podobné jako Git remotes, ale pro kešovaná data
- Výhody použití vzdálených úložišť
- Synchronizace velkých souborů a adresářů
- Centralizované nebo distribuované ukládání dat
- Úspora místa na disku
- Podporované typy úložišť
- Amazon S3, GCS, Google Drive
- SSH, HTTP, lokální souborové systémy
Nastavení vzdálených úložišť
- Vzdálená úložiště se nastavují příkazem
dvc remote add - Pro AWS
dvc remote add myAWSremote s3://mybucket
- Přizpůsobení lze provést pomocí
dvc remote modify
dvc remote modify myAWSremote connect_timeout 300
- Změna v
.dvc/config
['remote "myAWSremote"']
url = s3://mybucket
connect_timeout = 300
Lokální a výchozí vzdálená úložiště
- Lokální remotes se používají pro rychlé prototypování
- Použití systémových adresářů nebo NAS
dvc remote add mylocalremote /tmp/dvc
- Výchozí remote se nastavuje příznakem
-d
dvc remote add -d mylocalremote /tmp/dvc
- Výchozí remote je definován v sekci
coresouboru.dvc/config
[core]
remote = mylocalremote
Nahrávání a stahování dat
Příkazy pro přenos dat
- Nahrání:
dvc push <target> - Stažení:
dvc pull <target>
- Nahrání:
Podobné jako
git pushagit pull.dvcje sledováno Gitem, nikoli DVC
- Cílem může být konkrétní soubor
dvc push data.csv- Nebo celá keš
dvc push
- Nebo celá keš
- Přepis výchozího remote příznakem
-r
dvc push -r myAWSremote data.csv
Sledování změn dat
- Změna obsahu datového souboru, poté přidání změn
dvc add /path/to/data/datafile
- Potvrzení změněného souboru
.dvcdo Gitu
git add /path/to/datafile.dvc
git commit /path/to/datafile.dvc -m "Dataset updates"
- Odeslání metadat do Gitu
git push origin main
- Nahrání změněného datového souboru
dvc push
Pojďme cvičit!
CI/CD pro Machine Learning
