Bases de données et contrôles qualité

Démystifier la Decision Science

Howard Friedman

Adjunct Professor at Columbia University

Triage des sources de données

Toutes les données ne se valent pas

  • Certains jeux de données exigent un gros nettoyage ou manquent de variables utiles
  • D’autres ne valent pas l’effort

 

Le triage des données aide à prioriser vite

  • Évaluez la viabilité avant d’y investir temps et ressources

Commencez par la disponibilité

  • Les données sont-elles faciles d’accès ou derrière un paywall
  • Y a-t-il des contraintes d’autorisation ou de sécurité
  • Régler cela tôt évite de gaspiller des efforts

triage.png

Démystifier la Decision Science

Contrôles clés

Considérez les coûts

  • Y a-t-il des licences ou frais d’accès
  • Faudra-t-il payer le stockage ou des outils spécialisés

Évaluer l’utilité

  • Le jeu de données contient-il ce qu’il faut pour votre analyse
  • Vérifiez périmètre, détail, complétude et pertinence des variables

Vérifier la fréquence de mise à jour

  • Les prédictions en temps réel exigent des données en temps réel ou régulières
  • Des cycles mal alignés rendent les données inutilisables

Évaluer la résolution géographique

  • Les données correspondent-elles au niveau spatial requis
  • Des données nationales ne servent pas si vous avez besoin du niveau code postal
Démystifier la Decision Science

Contrôles de qualité des données

La qualité des données compte

  • De mauvaises données ruinent les modèles et mènent à de mauvaises décisions
  • « Garbage in, garbage out » est un vrai risque en science de la décision

GIGO.png

Surveiller les valeurs manquantes

  • Pourcentage de valeurs manquantes par colonne
  • Motifs révélant des problèmes de collecte

Effectuer des contrôles de plage

  • Y a-t-il des valeurs incohérentes avec votre contexte
  • Exemples : age = 450 ou price = -$10
  • Utilisez ces contrôles pour signaler tôt les gros problèmes
Démystifier la Decision Science

Autres contrôles

Examiner les valeurs aberrantes

  • Utilisez des histogrammes ou des boxplots pour les visualiser
  • Échangez avec les parties prenantes avant toute exclusion

Évaluer l’actualité

  • Demandez si vos données sont assez récentes pour être pertinentes
  • Les contextes dynamiques exigent des mises à jour fréquentes

Assurer la cohérence de formatage

  • Repérez formats de date incohérents, fautes ou noms de colonnes divergents
  • Nettoyez et standardisez pour éviter des soucis à l’analyse

QA.png

Démystifier la Decision Science

Passons à la pratique !

Démystifier la Decision Science

Preparing Video For Download...