Ingénierie des données et big data

Présentation de l’ingénierie des données

Hadrien Lacroix

Content Developer at DataCamp

À propos du cours

• Cours conceptuel
• Pas de codage
• Objectifs
  • Pouvoir échanger avec des ingénieurs de données
  • Fournir une base solide pour en savoir plus

Chapitre 1

Qu’est-ce que l’ingénierie des données ?

1. Ingénierie des données et big data
2. Ingénieurs de données vs data scientists
3. Pipelines de données

Chapitre 2

Comment fonctionne le stockage des données

1. Données structurées vs non structurées
2. SQL
3. Entrepôts de données et lacs de données

Chapitre 3

Comment déplacer et traiter les données

1. Traitement des données
2. Planification des données
3. Parallélisme
4. Cloud

$$

$$

$$

Flux de données

Flux de données

Flux de données

Flux de données

Ingénieurs de données

Ingénieurs de données

Les ingénieurs de données fournissent :

• les données correctes
• sous la bonne forme
• aux bonnes personnes
• le plus efficacement possible

Les responsabilités d'un ingénieur en données

• Intégrer des données provenant de différentes sources
• Optimiser les bases de données pour l'analyse
• Supprimer les données corrompues
• Développer, construire, tester et maintenir les architectures de données

Ingénieurs de données et big data

• Le big data devient la norme =>

Ingénieurs de données et big data

• Le big data devient la norme => les ingénieurs de données sont de plus en plus demandés
• Big data :
  • Il faut réfléchir à la manière de gérer sa taille
  • Les méthodes traditionnelles ne fonctionnent plus

Croissance du Big Data

• Capteurs et dispositifs
• Médias sociaux
• Données d'entreprise
• VoIP (communication vocale, sessions multimédias)

¹ Data Age 2025, Seagate, November 2018

Les cinq V

• Volume (combien ?)
• Variété (quelle sorte ?)
• Vélocité (quelle fréquence ?)
• Véracité (degré d'exactitude ?)
• Valeur (degré d'utilité ?)

Résumé

• Ce qui vous attend
• Comment les données circulent-elles dans une organisation ?
• Quand un ingénieur des données intervient
• Quelles sont leurs responsabilités ?
• Comment l'ingénierie des données s'articule-t-elle avec les big data ?

Passons à la pratique !

Présentation de l’ingénierie des données