DVC Uzak Depolarıyla Etkileşim

DVC ile Veri Sürümlendirmeye Giriş

Ravi Bhadauria

Machine Learning Engineer

Veri Yükleme ve Alma

  • Veriyi önbellekten DVC uzak depoya taşıma
$ dvc push <target>

$ dvc pull <target>
  • Hedefler tekil dosyalardır
$ dvc push data.csv
DVC ile Veri Sürümlendirmeye Giriş

Veri Yükleme ve Alma

  • Tüm önbelleği gönderin
$ dvc push
  • Çalışma alanını değiştirmeden önbelleği güncelleyin
$ dvc fetch
  • Varsayılan uzak depoyu -r bayrağıyla geçersiz kılın
$ dvc push -r aws_remote data.csv
DVC ile Veri Sürümlendirmeye Giriş

Git ile Benzerlikler

dvc pull

  • İşlev: Uzak depodaki veriyi DVC çalışma alanına indirir

  • Kullanım: Büyük veri kümeleri veya model çıktıları

dvc push

  • İşlev: Veriyi uzak depoya yükler

  • Kullanım: Veri varlıklarını paylaşma veya saklama

git pull

  • İşlev: Uzak Git deposundan getirir/birleştirir

  • Kullanım: Yerel dalı uzakla eşitleme

git push

  • İşlev: Yerel değişiklikleri uzağa gönderir

  • Kullanım: Değişiklikleri uzak Git deposunda paylaşma

DVC ile Veri Sürümlendirmeye Giriş

Veri Sürümleme

  • .dvc DVC tarafından değil, Git tarafından izlenir

  • Bunu kullanarak veri dosyasının belirli bir sürümünü alabilirsiniz

  • .dvc dosyasını checkout edin

$ git checkout <commit_hash|tag|branch>
  • .dvc dosyasında belirtilen MD5 ile veriyi alın
$ dvc checkout <target>
DVC ile Veri Sürümlendirmeye Giriş

Veri Değişikliklerini İzleme

  • Veri dosyasını değiştirin, ardından veri kümesi değişikliklerini ekleyin
$ dvc add <target>
  • Değişen .dvc dosyasını Git'e commit edin
$ git add <target>.dvc
$ git commit <target>.dvc \
    -m "Dataset updates"
  • Metaveriyi Git'e gönderin
$ git push origin main
  • Değişen veri dosyasını yükleyin
$ dvc push
DVC ile Veri Sürümlendirmeye Giriş

Hadi pratik yapalım!

DVC ile Veri Sürümlendirmeye Giriş

Preparing Video For Download...