Ingénierie des données et mégadonnées

Comprendre l'ingénierie des données

Hadrien Lacroix

Content Developer at DataCamp

À propos du cours

• Cours conceptuel
• Aucun codage requis
• Objectifs
  • Être en mesure d'échanger avec des ingénieur·e·s de données
  • Offrir une base solide pour aller plus loin

Chapitre 1

Qu'est-ce que l'ingénierie des données ?

1. Ingénierie des données et mégadonnées
2. Ingénieur·e·s de données vs scientifiques des données
3. Pipelines de données

Chapitre 2

Fonctionnement du stockage de données

1. Données structurées vs non structurées
2. SQL
3. Entrepôt et lac de données

Chapitre 3

Déplacer et traiter les données

1. Traitement des données
2. Ordonnancement des données
3. Calcul parallèle
4. Infonuagique

$$

$$

$$

Flux de données

Flux de données

Flux de données

Flux de données

Ingénieur·e·s de données

Ingénieur·e·s de données

Les ingénieur·e·s de données livrent :

• les bonnes données
• sous la bonne forme
• aux bonnes personnes
• le plus efficacement possible

Responsabilités d'un·e ingénieur·e de données

• Ingérer des données de plusieurs sources
• Optimiser les bases de données pour l'analyse
• Retirer les données corrompues
• Concevoir, construire, tester et maintenir les architectures de données

Ingénieur·e·s de données et mégadonnées

• Les mégadonnées deviennent la norme ⇒

Ingénieur·e·s de données et mégadonnées

• Les mégadonnées deviennent la norme ⇒ les ingénieur·e·s de données sont de plus en plus requis
• Mégadonnées :
  • Il faut réfléchir à la façon de gérer leur taille
  • Tellement vastes que les méthodes traditionnelles ne suffisent plus

Croissance des mégadonnées

• Capteurs et appareils
• Médias sociaux
• Données d'entreprise
• VoIP (voix, séances multimédias)

¹ Data Age 2025, Seagate, novembre 2018

Les cinq V

• Volume (combien ?)
• Variété (de quel type ?)
• Vélocité (à quelle fréquence ?)
• Véracité (quelle exactitude ?)
• Valeur (quelle utilité ?)

Résumé

• Ce qui vous attend
• Comment les données circulent dans une organisation
• Quand un·e ingénieur·e de données intervient
• Quelles sont ses responsabilités
• Lien entre ingénierie des données et mégadonnées

Passons à la pratique !

Comprendre l'ingénierie des données