Datastructuren

Inzicht in data engineering

Hadrien Lacroix

Content Developer at DataCamp

Gestructureerde data

  • Makkelijk te doorzoeken en te ordenen
  • Consistent model, rijen en kolommen
  • Gedefinieerde types
  • Kunnen gegroepeerd worden tot relaties
  • Opgeslagen in relationele databases
  • Ongeveer 20% van de data is gestructureerd
  • Gemaakt en bevraagd met SQL
Inzicht in data engineering

Werknemerstabel

index last_name first_name role team full_time office
0 Thien Vivian Data Engineer Data Science 1 Belgium
1 Huong Julian Data Scientist Data Science 1 Belgium
2 Duplantier Norbert Software Developer Infrastructure 1 United Kingdom
3 McColgan Jeff Business Developer Sales 1 United States
4 Sanchez Rick Support Agent Customer Service 0 United States
Inzicht in data engineering

Relationele database

office address number city zipcode
Belgium Martelarenlaan 38 Leuven 3010
UK Old Street 207 London EC1V 9NR
USA 5th Ave 350 New York 10118
Inzicht in data engineering

Relationele database

index last_name first_name office address number city zipcode
0 Thien Vivian Belgium Martelarenlaan 38 Leuven 3010
1 Huong Julian Belgium Martelarenlaan 38 Leuven 3010
2 Duplantier Norbert UK Old Street 207 London EC1V 9NR
3 McColgan Jeff USA 5th Ave 350 New York 10118
4 Sanchez Rick USA 5th Ave 350 New York 10118
Inzicht in data engineering

Semi-gestructureerde data

  • Relatief makkelijk te doorzoeken en te ordenen
  • Consistent model, minder strikte uitvoering: observaties kunnen verschillende groottes hebben
  • Verschillende types
  • Kunnen gegroepeerd worden, maar kost meer werk
  • NoSQL-databases: JSON, XML, YAML
Inzicht in data engineering

JSON-bestand met favoriete artiesten

{
  {"user_1645156":
     "last_name": "Lacroix",
     "first_name: "Hadrien",
     "favorite_artists": ["Fools in Deed", "Gojira", "Pain", "Nanowar of Steel"]},
  {"user_5913764":
     "last_name": "Billen",
     "first_name: "Sara",
     "favorite_artists": ["Tamino", "Taylor Swift"]},
  {"user_8436791":
     "last_name": "Sulmont",
     "first_name: "Lis",
     "favorite_artists": ["Arctic Monkeys", "Rihanna", "Nina Simone"]},
  ...
}
Inzicht in data engineering

Ongestructureerde data

  • Volgt geen model, past niet in rijen en kolommen
  • Moeilijk te doorzoeken en te ordenen
  • Meestal tekst, geluid, afbeeldingen of video's
  • Meestal opgeslagen in data lakes, kan ook in datawarehouses of databases
  • Het meeste van de data is ongestructureerd
  • Kan enorm waardevol zijn
Inzicht in data engineering

songteksten

Inzicht in data engineering

songspectrum

Inzicht in data engineering

albumhoes

Inzicht in data engineering

muziekvideo

Inzicht in data engineering

Een beetje structuur toevoegen

  • Gebruik AI om ongestructureerde data te doorzoeken en te ordenen
  • Voeg info toe om het semi-gestructureerd te maken
Inzicht in data engineering

Samenvatting

  • Gestructureerde data
  • Semi-gestructureerde data
  • Ongestructureerde data
  • Verschillen tussen de drie
  • Geef voorbeelden
Inzicht in data engineering

Laten we oefenen!

Inzicht in data engineering

Preparing Video For Download...