Motivation du versionnage des données

Introduction au versionnage des données avec DVC

Ravi Bhadauria

Machine Learning Engineer

Qu'est-ce que le versionnage des données ?

  • Définition
    • Suit l'évolution des données dans le temps
    • Crée des instantanés au fil des itérations
    • Semblable au versionnage de code
  • Avantages
    • Récupération et examen
    • Cohérence, traçabilité et lignée des données
  • Applications
    • Data Science et Machine Learning
    • Data Engineering
    • Analyse financière, audit et conformité
Introduction au versionnage des données avec DVC

Versionnage des données vs du code

Versionnage de code

  • Bien connu en développement logiciel
  • Utilise des outils comme Git pour un contrôle de version décentralisé
  • Plus simple à gérer car les bases de code sont petites

Versionnage des données

  • Relativement récent (SciDB proposé en 2012)
  • Chaînes d'outils comme DVC utilisées avec Git
  • Plus difficile à gérer à cause de la taille des jeux de données
1 doi: 10.1109/ICDE.2012.102
Introduction au versionnage des données avec DVC

Pourquoi versionner les données en ML ?

Image de la composition d'un modèle de ML : code, hyperparamètres et données

Introduction au versionnage des données avec DVC

Influence du jeu de données

Jeu de données A Image de l'aperçu du dataframe du jeu de données A

Jeu de données B Image de l'aperçu du dataframe du jeu de données B

Introduction au versionnage des données avec DVC

Influence du jeu de données

 

Hyperparamètres constants, jeu de données modifié

 

Indicateur Jeu de données A Jeu de données B
Précision 0.78 0.79
Rappel 0.54 0.57
F1-score 0.64 0.66
Exactitude 0.80 0.81
Introduction au versionnage des données avec DVC

Influence des hyperparamètres

 

Jeu de données constant, hyperparamètres modifiés

 

Indicateur n_estimators=5 n_estimators=10
Précision 0.78 0.85
Rappel 0.54 0.52
F1-score 0.64 0.65
Exactitude 0.80 0.81
Introduction au versionnage des données avec DVC

Disposition des exercices dans l'éditeur

Image annotée de la mise en page d'un exercice dans l'éditeur affichant dossier, fichier et terminal.

Introduction au versionnage des données avec DVC

Passons à la pratique !

Introduction au versionnage des données avec DVC

Preparing Video For Download...