Veri Versiyonlama Kontrolü ile veri kümelerini versiyonlama

Machine Learning için CI/CD

Ravi Bhadauria

Machine Learning Engineer

Veriyi versiyonlamanın önemi

Versiyonlama, veri değişikliklerinin geçmiş kaydını sağlar
Veri versiyonlama kritik önemdedir
- Tekrarlanabilirlik
- Deney ve yineleme
- İş birliği
- Hata takibi ve hata ayıklama
- Model izleme ve bakım
- Denetim ve doğrulama

Data Version Control (DVC)

DVC: Data Version Control aracı
- Veri ve deneyleri yönetir
- Git’e benzer

Git ve DVC ile veri versiyonlamasının kavramsal görseli.png

Git üst veriyi izler, DVC veri versiyonlamasını yönetir

DVC Depolama

Veri ayrı bir yerde tutulur
- SSH, HTTP/HTTPS, Yerel Dosya Sistemi
- AWS, GCP ve Azure nesne depolama
Yerelde kurulum

pip install dvc

DVC’yi başlatma

Git’i başlatın: git init
DVC’yi başlatın

-> dvc init
Initialized DVC repository.
You can now commit the changes to git.

DVC proje dosyalarını kurar, veri versiyonlamaya hazırlar

.dvc
|- .gitignore
|- config
|- tmp

DVC’ye dosya ekleme

dvc add <file> komutu ile veri dosyaları ekleyin

-> dvc add data.csv

Dosya üst verisini içeren .dvc yer tutucuları oluşturulur
- Her DVC izlenen dosyanın karşılık gelen .dvc dosyası vardır (data.csv -> data.csv.dvc)
- Veri sürümlerini yönetmek için Git’e eklenir
DVC önbelleği .dvc/cache içinde doldurulur

DVC veri dosyaları

Veri dosyası

-> cat data.csv
This is a sample data file.

data.csv.dvc dosyası

-> cat data.csv.dvc
 outs:
 - md5: ea9972ac9f8fa321ea74969e93acc196

   size: 28

   hash: md5

   path: data.csv

Özet

Veri versiyonlama, tekrarlanabilirlik ve iş birliğini sağlar
DVC: Git ile çalışan veri versiyonlama aracı
DVC’yi dvc init ile başlatın, dosyaları dvc add <file> ile ekleyin
.dvc dosyaları üst veriyi saklar, sürümleri Git izler

Hadi pratik yapalım!

Machine Learning için CI/CD

Preparing Video For Download...