Entrepôts de données et lacs de données

Comprendre l'ingénierie des données

Hadrien Lacroix

Content Developer

Entrepôts avec vue imprenable sur le lac

Comprendre l'ingénierie des données

pipeline

Comprendre l'ingénierie des données

Lacs et entrepôts de données

Data lake

  • Stocke toutes les données brutes
  • Peut atteindre des pétaoctets (1 million de Go)
  • Stocke toutes les structures de données
  • Économique
  • Difficile à analyser
  • Nécessite un catalogue de données à jour
  • Utilisé par les data scientists
  • Big data, analytique en temps réel

Entrepôt de données

  • Données ciblées pour un usage précis
  • Relativement petit
  • Stocke surtout des données structurées
  • Plus coûteux à mettre à jour
  • Optimisé pour l'analyse de données
  • Aussi utilisé par les analystes de données et d'affaires
  • Requêtes ad hoc, en lecture seule
Comprendre l'ingénierie des données

Catalogue de données pour les lacs de données

  • Quelle est la source de ces données ?
  • Où ces données sont-elles utilisées ?
  • Qui est le propriétaire des données ?
  • À quelle fréquence ces données sont-elles mises à jour ?
  • Bonne pratique de gouvernance des données
  • Assure la reproductibilité
  • Pas de catalogue --> marécage de données
  • Bonnes pratiques pour tout stockage de données
    • Fiabilité
    • Autonomie
    • Extensibilité
    • Rapidité
Comprendre l'ingénierie des données

Base de données c. entrepôt de données

  • Base de données :
    • Terme général
    • Défini de façon large comme données organisées stockées et consultées sur un ordinateur
  • Un entrepôt de données est un type de base de données
Comprendre l'ingénierie des données

Résumé

  • Lacs de données
  • Entrepôts de données
  • Bases de données
  • Catalogue de données
Comprendre l'ingénierie des données

Passons à la pratique !

Comprendre l'ingénierie des données

Preparing Video For Download...