Structures de données

Comprendre l'ingénierie des données

Hadrien Lacroix

Content Developer at DataCamp

Données structurées

  • Faciles à rechercher et à organiser
  • Modèle uniforme, lignes et colonnes
  • Types définis
  • Peuvent être groupées pour former des relations
  • Stockées dans des bases de données relationnelles
  • Environ 20 % des données sont structurées
  • Créées et interrogées avec SQL
Comprendre l'ingénierie des données

Table Employés

index last_name first_name role team full_time office
0 Thien Vivian Data Engineer Data Science 1 Belgium
1 Huong Julian Data Scientist Data Science 1 Belgium
2 Duplantier Norbert Software Developer Infrastructure 1 United Kingdom
3 McColgan Jeff Business Developer Sales 1 United States
4 Sanchez Rick Support Agent Customer Service 0 United States
Comprendre l'ingénierie des données

Base de données relationnelle

office address number city zipcode
Belgium Martelarenlaan 38 Leuven 3010
UK Old Street 207 London EC1V 9NR
USA 5th Ave 350 New York 10118
Comprendre l'ingénierie des données

Base de données relationnelle

index last_name first_name office address number city zipcode
0 Thien Vivian Belgium Martelarenlaan 38 Leuven 3010
1 Huong Julian Belgium Martelarenlaan 38 Leuven 3010
2 Duplantier Norbert UK Old Street 207 London EC1V 9NR
3 McColgan Jeff USA 5th Ave 350 New York 10118
4 Sanchez Rick USA 5th Ave 350 New York 10118
Comprendre l'ingénierie des données

Données semi-structurées

  • Assez faciles à rechercher et à organiser
  • Modèle cohérent, mise en œuvre moins rigide : tailles d'observations variables
  • Types variés
  • Peuvent être groupées, mais exige plus d'efforts
  • Bases NoSQL : JSON, XML, YAML
Comprendre l'ingénierie des données

Fichier JSON : artistes préférés

{
  {"user_1645156":
     "last_name": "Lacroix",
     "first_name: "Hadrien",
     "favorite_artists": ["Fools in Deed", "Gojira", "Pain", "Nanowar of Steel"]},
  {"user_5913764":
     "last_name": "Billen",
     "first_name: "Sara",
     "favorite_artists": ["Tamino", "Taylor Swift"]},
  {"user_8436791":
     "last_name": "Sulmont",
     "first_name: "Lis",
     "favorite_artists": ["Arctic Monkeys", "Rihanna", "Nina Simone"]},
  ...
}
Comprendre l'ingénierie des données

Données non structurées

  • Ne suit pas de modèle, ne tient pas en lignes et colonnes
  • Difficiles à rechercher et à organiser
  • Souvent du texte, du son, des images ou des vidéos
  • Souvent dans des lacs de données, parfois dans des entrepôts ou bases de données
  • La majorité des données sont non structurées
  • Peut avoir une grande valeur
Comprendre l'ingénierie des données

paroles

Comprendre l'ingénierie des données

spectre de chanson

Comprendre l'ingénierie des données

pochette d'album

Comprendre l'ingénierie des données

vidéoclip

Comprendre l'ingénierie des données

Ajouter de la structure

  • Utiliser l'IA pour rechercher et organiser des données non structurées
  • Ajouter de l'information pour les rendre semi-structurées
Comprendre l'ingénierie des données

Résumé

  • Données structurées
  • Données semi-structurées
  • Données non structurées
  • Différences entre les trois
  • Donner des exemples
Comprendre l'ingénierie des données

Passons à la pratique !

Comprendre l'ingénierie des données

Preparing Video For Download...