Versionarea seturilor de date cu Data Version Control

CI/CD pentru Machine Learning

Ravi Bhadauria

Machine Learning Engineer

De ce contează versionarea datelor

  • Versionarea asigură un istoric al modificărilor datelor
  • Versionarea datelor este esențială
    • Reproductibilitate
    • Experimentare și iterare
    • Colaborare
    • Depistarea și remedierea erorilor
    • Monitorizarea și menținerea modelelor
    • Auditare și validare
CI/CD pentru Machine Learning

Data Version Control (DVC)

  • DVC: instrument de versionare a datelor
    • Gestionează date și experimente
    • Similar cu Git

Imagine conceptuală a versionării datelor cu Git și DVC.

  • Git urmărește metadatele, DVC gestionează versionarea datelor
CI/CD pentru Machine Learning

Stocare DVC

  • Date stocate separat
    • SSH, HTTP/HTTPS, sistem de fișiere local
    • Stocare obiect AWS, GCP și Azure
  • Instalare locală
pip install dvc
CI/CD pentru Machine Learning

Inițializarea DVC

  • Inițializați Git git init
  • Inițializați DVC
-> dvc init
Initialized DVC repository.
You can now commit the changes to git.
  • Configurează fișierele proiectului DVC, gata pentru versionarea datelor
.dvc
|- .gitignore
|- config
|- tmp
CI/CD pentru Machine Learning

Adăugarea fișierelor în DVC

  • Adăugați fișiere de date cu comanda dvc add <file>
-> dvc add data.csv
  • Se generează fișiere de tip .dvc ce conțin metadatele fișierului
    • Fiecare fișier urmărit de DVC are fișierul .dvc corespunzător (data.csv -> data.csv.dvc)
    • Înregistrat în Git pentru gestionarea versiunilor datelor
  • Cache-ul DVC este populat în .dvc/cache
CI/CD pentru Machine Learning

Fișiere de date DVC

  • Fișier de date
-> cat data.csv
This is a sample data file.
  • Fișierul data.csv.dvc
-> cat data.csv.dvc
 outs:
 - md5: ea9972ac9f8fa321ea74969e93acc196

   size: 28

   hash: md5

   path: data.csv
CI/CD pentru Machine Learning

Rezumat

  • Versionarea datelor asigură reproductibilitatea și colaborarea
  • DVC: instrument pentru gestionarea versiunilor datelor, funcționează cu Git
  • Inițializați DVC cu dvc init, adăugați fișiere cu dvc add <file>
  • Fișierele .dvc stochează metadate, Git urmărește versiunile
CI/CD pentru Machine Learning

Să exersăm!

CI/CD pentru Machine Learning

Preparing Video For Download...