Strutture dati

Capire il Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

Dati strutturati

  • Facili da cercare e organizzare
  • Modello coerente, righe e colonne
  • Tipi definiti
  • Si possono collegare in relazioni
  • Salvati in database relazionali
  • Circa il 20% dei dati è strutturato
  • Creati e interrogati con SQL
Capire il Data Engineering

Tabella dipendenti

indice cognome nome ruolo team full_time sede
0 Thien Vivian Data Engineer Data Science 1 Belgio
1 Huong Julian Data Scientist Data Science 1 Belgio
2 Duplantier Norbert Software Developer Infrastructure 1 Regno Unito
3 McColgan Jeff Business Developer Sales 1 Stati Uniti
4 Sanchez Rick Support Agent Customer Service 0 Stati Uniti
Capire il Data Engineering

Database relazionale

sede indirizzo numero città CAP
Belgio Martelarenlaan 38 Lovanio 3010
UK Old Street 207 Londra EC1V 9NR
USA 5th Ave 350 New York 10118
Capire il Data Engineering

Database relazionale

indice cognome nome sede indirizzo numero città CAP
0 Thien Vivian Belgio Martelarenlaan 38 Lovanio 3010
1 Huong Julian Belgio Martelarenlaan 38 Lovanio 3010
2 Duplantier Norbert UK Old Street 207 Londra EC1V 9NR
3 McColgan Jeff USA 5th Ave 350 New York 10118
4 Sanchez Rick USA 5th Ave 350 New York 10118
Capire il Data Engineering

Dati semi-strutturati

  • Abbastanza facili da cercare e organizzare
  • Modello coerente, implementazione meno rigida: osservazioni di dimensioni diverse
  • Tipi diversi
  • Si possono raggruppare, ma serve più lavoro
  • Database NoSQL: JSON, XML, YAML
Capire il Data Engineering

File JSON artisti preferiti

{
  {"user_1645156":
     "last_name": "Lacroix",
     "first_name: "Hadrien",
     "favorite_artists": ["Fools in Deed", "Gojira", "Pain", "Nanowar of Steel"]},
  {"user_5913764":
     "last_name": "Billen",
     "first_name: "Sara",
     "favorite_artists": ["Tamino", "Taylor Swift"]},
  {"user_8436791":
     "last_name": "Sulmont",
     "first_name: "Lis",
     "favorite_artists": ["Arctic Monkeys", "Rihanna", "Nina Simone"]},
  ...
}
Capire il Data Engineering

Dati non strutturati

  • Non segue un modello, non sta in righe e colonne
  • Difficile da cercare e organizzare
  • Di solito testo, audio, immagini o video
  • Di solito in data lake, può comparire in data warehouse o database
  • La maggior parte dei dati è non strutturata
  • Può essere molto preziosa
Capire il Data Engineering

testi

Capire il Data Engineering

spettro del brano

Capire il Data Engineering

copertina album

Capire il Data Engineering

video musicali

Capire il Data Engineering

Aggiungere un po' di struttura

  • Usa l'AI per cercare e organizzare dati non strutturati
  • Aggiungi info per renderli semi-strutturati
Capire il Data Engineering

Riepilogo

  • Dati strutturati
  • Dati semi-strutturati
  • Dati non strutturati
  • Differenze tra i tre
  • Fai esempi
Capire il Data Engineering

Esercitiamoci!

Capire il Data Engineering

Preparing Video For Download...