DVC Uzaklarını Yapılandırma

DVC ile Veri Sürümlendirmeye Giriş

Ravi Bhadauria

Machine Learning Engineer

Gözden Geçirme

DVC deposunu başlatma
- dvc init çalıştırın
- Depo çalışma alanında (/path/to/my-project)
DVC önbelleğini kurma
- .dvc dizininde geçici aşama alanı
  - /path/to/my-project/.dvc/cache
- Geçici dosyaları dvc add ile aşamaya alın
Şimdi: DVC Uzakları
- Harici depolama
- Varlıkları izleyin ve paylaşın

DVC Uzakları: Veri depolama konumu
Git uzaklarına benzer, ancak önbelleğe alınmış veriler için
Uzak kullanmanın faydaları
- Büyük dosya ve dizinleri eşitleyin
- Depolamayı merkezileştirin veya dağıtın
- Yerel alan tasarrufu sağlayın

DVC çalışma alanından önbelleğe ve uzağa veri akışının şeması

DVC'de desteklenen depolama türleri grafiği

$ dvc remote add s3_remote \
   s3://mys3bucket

 ['remote "s3_remote"']
     url = s3://mys3bucket

$ dvc remote add gcp_remote \
   gs://myGCPbucket

$ dvc remote add azure_remote \
   azure://mycontainer/path

$ dvc remote add mylocalremote /tmp/dvc

$ dvc remote add -d mylocalremote /tmp/dvc

[core]
remote = mylocalremote

$ dvc remote list

s3_remote    s3://mys3bucket
local_remote /tmp/dvcremote

 ['remote "s3_remote"']
     url = s3://mys3bucket
 ['remote "local_remote"']
     url = /tmp/dvcremote

$ dvc remote modify s3_remote connect_timeout 300

 ['remote "s3_remote"']
     url = s3://mys3bucket
     connect_timeout = 300

DVC ile Veri Sürümlendirmeye Giriş