Motivation pour le contrôle de version des données

Introduction au contrôle de versions des données avec DVC

Ravi Bhadauria

Machine Learning Engineer

Qu'est-ce que le contrôle de version des données ?

  • Définition
    • Suit l'évolution des données dans le temps
    • Prend des instantanés à chaque itération
    • Comparable au contrôle de version du code
  • Avantages
    • Recherche et examen
    • Cohérence, imputabilité et lignée des données
  • Applications
    • Data Science et Machine Learning
    • Ingénierie des données
    • Analyse financière, audit et conformité
Introduction au contrôle de versions des données avec DVC

Données vs code : contrôle de version

Contrôle de version du code

  • Bien connu en développement logiciel
  • Utilise des outils comme Git pour un contrôle de version décentralisé
  • Plus simple à gérer : les bases de code sont petites

Contrôle de version des données

  • Assez récent (SciDB proposé en 2012)
  • Chaînes d'outils comme DVC utilisées avec Git
  • Plus difficile à gérer en raison de la taille des ensembles de données
1 doi: 10.1109/ICDE.2012.102
Introduction au contrôle de versions des données avec DVC

Pourquoi contrôler les versions des données en ML ?

Image montrant qu'un modèle de ML se compose de code, d'hyperparamètres et de données

Introduction au contrôle de versions des données avec DVC

Influence de l'ensemble de données

Ensemble de données A Image de l'aperçu du dataframe de l'ensemble A

Ensemble de données B Image de l'aperçu du dataframe de l'ensemble B

Introduction au contrôle de versions des données avec DVC

Influence de l'ensemble de données

 

Hyperparamètres constants, ensemble de données modifié

 

Mesure Ensemble A Ensemble B
Précision 0.78 0.79
Rappel 0.54 0.57
Score F1 0.64 0.66
Exactitude 0.80 0.81
Introduction au contrôle de versions des données avec DVC

Influence des hyperparamètres

 

Ensemble de données constant, hyperparamètres modifiés

 

Mesure n_estimators=5 n_estimators=10
Précision 0.78 0.85
Rappel 0.54 0.52
Score F1 0.64 0.65
Exactitude 0.80 0.81
Introduction au contrôle de versions des données avec DVC

Mise en page des exercices dans l'éditeur

Image annotée de la mise en page d'un exercice dans l'éditeur montrant le dossier, le fichier et le terminal.

Introduction au contrôle de versions des données avec DVC

Passons à la pratique !

Introduction au contrôle de versions des données avec DVC

Preparing Video For Download...