Stockage des données

Conception de bases de données

Lis Sulmont

Curriculum Manager

Structuration des données

1. Données structurées

Suivent un schéma
Types de données et relations définis

_par exemple, SQL, tableaux dans une base de données relationnelle _

2. Données non structurées

Sans schéma
Représentent la majeure partie des données dans le monde

par exemple, des photos, des journaux de discussion, des fichiers MP3

3. Données semi-structurées

Ne suivent pas le schéma général
Structure auto-descriptive

par exemple, NoSQL, XML, JSON

# Example of a JSON file
"user": {
     "profile_use_background_image": true, 
     "statuses_count": 31, 
     "profile_background_color": "C0DEED", 
     "followers_count": 3066, 
     ...

Structuration des données

Diagram showing the spectrum between structured and unstructured data

¹ Fleur par Sam Oth et schéma de base de données par Nick Jenkins via Wikimedia Commons https://commons.wikimedia.org/wiki/File:Languages_xml.png

Stockage de données au-delà des bases de données traditionnelles

Bases de données traditionnelles
- Pour le stockage de données structurées relationnelles en temps réel ⟶ OLTP
Entrepôts de données
- Pour l'analyse des données structurées archivées ⟶ OLAP
Lacs de données
- Pour le stockage des données de toutes les structures = flexibilité et évolutivité
- Pour l'analyse de big data

Entrepôts de données

Optimisés pour l'analyse - OLAP
- Pour la lecture/l'agrégation des données
- Généralement en lecture seule
Contiennent des données provenant de plusieurs sources
Traitement massivement parallèle (MPP)
Utilisent généralement un schéma dénormalisé et une modélisation dimensionnelle

Magasins de données

Sous-ensemble d'entrepôts de données
Consacrés à un sujet spécifique

Amazon Redshift, Google Bog Query and Azure SQL Data Warehouse

Data mart as a subset of a data warehouse

Lacs de données

Stockent tous les types de données à _un coût réduit _:
- par exemple, bases de données brutes et opérationnelles, journaux d'appareils IoT, en temps réel, relationnelles et non relationnelles
Conservent toutes les données et stockent des pétaoctets
Schéma à la lecture par opposition au schéma à l'écriture
Nécessité de cataloguer les données au risque de les transformer en marécages de données
Effectuent des analyses de big data à l'aide de services tels qu'Apache Spark et Hadoop
- Utiles pour le deep learning et la découverte de données, car les activités nécessitent une grande quantité de données

Stockage des données

Structuration des données

Structuration des données

Stockage de données au-delà des bases de données traditionnelles

Entrepôts de données

Lacs de données

ETL

ELT

Passons à la pratique !