DVC uzaklarıyla etkileşim

Machine Learning için CI/CD

Ravi Bhadauria

Machine Learning Engineer

DVC Uzaklarını Anlama

DVC Uzakları: Veri depolama konumu
Git uzaklarına benzer, ancak önbellekteki veriler için
Uzak kullanmanın faydaları
- Büyük dosya ve dizinleri eşitleyin
- Depolamayı merkezileştirin veya dağıtın
- Yerel alan kazandırır
Desteklenen depolama türleri
- Amazon S3, GCS, Google Drive
- SSH, HTTP, yerel dosya sistemleri

dvc remote add myAWSremote s3://mybucket

dvc remote modify myAWSremote connect_timeout 300

 ['remote "myAWSremote"']
     url = s3://mybucket
     connect_timeout = 300

dvc remote add mylocalremote /tmp/dvc

dvc remote add -d mylocalremote /tmp/dvc

[core]
remote = mylocalremote

Veri aktarım komutları
- Uzağa gönder: dvc push <target>
- Uzaktan çek: dvc pull <target>
git push/git pull benzeri
- .dvc Git ile izlenir, DVC ile değil
Hedef tekil dosya olabilir: dvc push data.csv
- Ya da tüm önbellek: dvc push
Varsayılan uzağı -r bayrağıyla geçersiz kılın

dvc push -r myAWSremote data.csv

dvc add /path/to/data/datafile

git add /path/to/datafile.dvc
git commit /path/to/datafile.dvc -m "Dataset updates"

git push origin main

dvc push

Machine Learning için CI/CD