Stockage des données

Conception de bases de données

Lis Sulmont

Curriculum Manager

Structuration des données

1. Données structurées

Suivent un schéma
Types de données et relations définis

p. ex., SQL, tables dans une base relationnelle

2. Données non structurées

Sans schéma
Représentent la majorité des données mondiales

p. ex., photos, journaux de clavardage, MP3

3. Données semi-structurées

Ne suivent pas un schéma global
Structure auto-descriptive

p. ex., NoSQL, XML, JSON

# Example of a JSON file
"user": {
     "profile_use_background_image": true, 
     "statuses_count": 31, 
     "profile_background_color": "C0DEED", 
     "followers_count": 3066, 
     ...

Structuration des données

Schéma illustrant le continuum entre données structurées et non structurées

¹ Flower by Sam Oth and Database Diagram by Nick Jenkins via Wikimedia Commons https://commons.wikimedia.org/wiki/File:Languages_xml.png

Au-delà des bases de données traditionnelles

Bases de données traditionnelles
- Pour le stockage transactionnel structuré en temps réel ⟶ OLTP
Entrepôts de données
- Pour analyser des données structurées archivées ⟶ OLAP
Lacs de données
- Pour stocker des données de toutes structures = flexibilité et extensibilité
- Pour analyser des big data

Entrepôts de données

Optimisé pour l'analytique - OLAP
- Organisé pour la lecture/l'agrégation
- Généralement en lecture seule
Contient des données de sources multiples
Traitement massivement parallèle (MPP)
Utilise souvent un schéma dénormalisé et la modélisation dimensionnelle

Magasins de données

Sous-ensembles d'entrepôts de données
Dédiés à un sujet précis

Amazon Redshift, Google Bog Query and Azure SQL Data Warehouse

Magasin de données comme sous-ensemble d'un entrepôt de données

Lacs de données

Stockent tous les types de données à moindre coût :
- p. ex., brutes, bases opérationnelles, journaux d'objets IdO, temps réel, relationnelles et non relationnelles
Conservent tout et peuvent atteindre des pétaoctets
Schéma à la lecture plutôt qu'à l'écriture
Doivent être catalogués, sinon deviennent un marais de données
Exécutent de l'analytique big data avec des services comme Apache Spark et Hadoop
- Utile pour l'apprentissage profond et la découverte, car ces activités exigent beaucoup de données

Stockage des données

Structuration des données

Structuration des données

Au-delà des bases de données traditionnelles

Entrepôts de données

Lacs de données

ETL

ELT

Passons à la pratique !