Bases de données et contrôles de qualité

Démystifier la decision science

Howard Friedman

Adjunct Professor at Columbia University

Triage des sources de données

Toute donnée n'est pas également utile

  • Certains jeux de données exigent beaucoup de nettoyage ou manquent de variables utiles
  • D'autres ne valent peut-être pas l'effort

 

Le triage des données aide à prioriser vite

  • Évaluez la viabilité avant d'y investir temps et ressources

Commencez par la disponibilité

  • Données faciles d'accès ou derrière un mur payant
  • Y a-t-il des contraintes d'autorisation ou de sécurité
  • Régler cela tôt évite des efforts perdus

triage.png

Démystifier la decision science

Vérifications clés

Considérez les coûts

  • Frais de licence ou d'accès
  • Coûts de stockage ou d'outils spécialisés

Évaluez l'utilité

  • Le jeu de données contient-il ce qu'il faut pour votre analyse
  • Vérifiez la portée, le détail, l'exhaustivité et la pertinence des variables

Vérifiez la fréquence de mise à jour

  • Les prédictions en temps réel exigent des données en temps réel ou mises à jour régulièrement
  • Des cycles de mise à jour décalés peuvent rendre les données inutilisables

Évaluez la résolution géographique

  • Le niveau spatial correspond-il aux besoins de votre analyse
  • Des données nationales n'aident pas si vous avez besoin d'un niveau code postal
Démystifier la decision science

Contrôles de qualité des données

La qualité des données compte

  • De mauvaises données peuvent ruiner des modèles et mener à de mauvaises décisions
  • « Garbage in, garbage out » est un vrai risque en science des décisions

GIGO.png

Surveillez les valeurs manquantes

  • Pourcentage de valeurs manquantes par colonne
  • Motifs révélant des problèmes de collecte plus profonds

Faites des contrôles d'intervalle de base

  • Y a-t-il des valeurs qui n'ont pas de sens dans votre contexte
  • Exemples : âge = 450 ou prix = -10 $
  • Servez-vous de ces contrôles pour signaler tôt les gros problèmes
Démystifier la decision science

Autres vérifications

Passez en revue les valeurs aberrantes

  • Utilisez des histogrammes ou des diagrammes en boîte pour visualiser
  • Discutez avec les parties prenantes avant d'exclure quoi que ce soit

Évaluez l'actualité

  • Vos données sont-elles assez récentes pour être pertinentes
  • Les contextes évolutifs exigent des mises à jour fréquentes

Assurez la constance du formatage

  • Repérez des formats de date incohérents, des fautes d'orthographe ou des écarts de noms de colonnes
  • Nettoyez et normalisez pour éviter des problèmes à l'analyse

QA.png

Démystifier la decision science

Passons à la pratique !

Démystifier la decision science

Preparing Video For Download...