Versionamento dei dataset con Data Version Control

CI/CD per Machine Learning

Ravi Bhadauria

Machine Learning Engineer

Perché il versionamento dei dati conta

  • Il versionamento crea uno storico delle modifiche ai dati
  • Il versionamento dei dati è fondamentale
    • Riproducibilità
    • Sperimentazione e iterazione
    • Collaborazione
    • Tracciamento bug e debug
    • Monitoraggio e manutenzione del modello
    • Audit e validazione
CI/CD per Machine Learning

Data Version Control (DVC)

  • DVC: strumento di Data Version Control
    • Gestisce dati ed esperimenti
    • Simile a Git

Immagine concettuale del versionamento dei dati con Git e DVC.png

  • Git traccia i metadati, DVC gestisce il versionamento dei dati
CI/CD per Machine Learning

Archiviazione DVC

  • Dati archiviati separatamente
    • SSH, HTTP/HTTPS, file system locale
    • Object storage AWS, GCP e Azure
  • Installa in locale
pip install dvc
CI/CD per Machine Learning

Inizializzare DVC

  • Inizializza Git git init
  • Inizializza DVC
-> dvc init
Initialized DVC repository.
You can now commit the changes to git.
  • Crea i file di progetto DVC, pronto per versionare i dati
.dvc
|- .gitignore
|- config
|- tmp
CI/CD per Machine Learning

Aggiungere file a DVC

  • Aggiungi file di dati con il comando dvc add <file>
-> dvc add data.csv
  • Si generano segnaposto .dvc con i metadati dei file
    • Ogni file tracciato da DVC ha il relativo file .dvc (data.csv -> data.csv.dvc)
    • Inseriti in Git per gestire le versioni dei dati
  • La cache DVC viene popolata in .dvc/cache
CI/CD per Machine Learning

File di dati DVC

  • File di dati
-> cat data.csv
This is a sample data file.
  • File data.csv.dvc
-> cat data.csv.dvc
 outs:
 - md5: ea9972ac9f8fa321ea74969e93acc196

   size: 28

   hash: md5

   path: data.csv
CI/CD per Machine Learning

Riepilogo

  • Il versionamento dei dati garantisce riproducibilità e collaborazione
  • DVC: strumento per il versionamento dei dati, funziona con Git
  • Inizializza DVC con dvc init, aggiungi file con dvc add <file>
  • I file .dvc conservano i metadati, Git traccia le versioni
CI/CD per Machine Learning

Esercitiamoci!

CI/CD per Machine Learning

Preparing Video For Download...