Datastrukturer

Introduktion till datatekniker

Hadrien Lacroix

Content Developer at DataCamp

Strukturerad data

  • Lätt att söka i och organisera
  • Konsekvent modell med rader och kolumner
  • Definierade typer
  • Kan grupperas för att bilda relationer
  • Lagras i relationsdatabaser
  • Cirka 20 % av all data är strukturerad
  • Skapas och hämtas med SQL
Introduktion till datatekniker

Medarbetartabell

index last_name first_name role team full_time office
0 Thien Vivian Data Engineer Data Science 1 Belgium
1 Huong Julian Data Scientist Data Science 1 Belgium
2 Duplantier Norbert Software Developer Infrastructure 1 United Kingdom
3 McColgan Jeff Business Developer Sales 1 United States
4 Sanchez Rick Support Agent Customer Service 0 United States
Introduktion till datatekniker

Relationsdatabas

office address number city zipcode
Belgium Martelarenlaan 38 Leuven 3010
UK Old Street 207 London EC1V 9NR
USA 5th Ave 350 New York 10118
Introduktion till datatekniker

Relationsdatabas

index last_name first_name office address number city zipcode
0 Thien Vivian Belgium Martelarenlaan 38 Leuven 3010
1 Huong Julian Belgium Martelarenlaan 38 Leuven 3010
2 Duplantier Norbert UK Old Street 207 London EC1V 9NR
3 McColgan Jeff USA 5th Ave 350 New York 10118
4 Sanchez Rick USA 5th Ave 350 New York 10118
Introduktion till datatekniker

Semistrukturerad data

  • Relativt lätt att söka i och organisera
  • Konsekvent modell, men mer flexibel: olika observationer kan ha olika storlek
  • Olika typer
  • Kan grupperas, men kräver mer arbete
  • NoSQL-databaser: JSON, XML, YAML
Introduktion till datatekniker

JSON-fil med favoritartister

{
  {"user_1645156":
     "last_name": "Lacroix",
     "first_name: "Hadrien",
     "favorite_artists": ["Fools in Deed", "Gojira", "Pain", "Nanowar of Steel"]},
  {"user_5913764":
     "last_name": "Billen",
     "first_name: "Sara",
     "favorite_artists": ["Tamino", "Taylor Swift"]},
  {"user_8436791":
     "last_name": "Sulmont",
     "first_name: "Lis",
     "favorite_artists": ["Arctic Monkeys", "Rihanna", "Nina Simone"]},
  ...
}
Introduktion till datatekniker

Ostrukturerad data

  • Följer ingen modell – passar inte i rader och kolumner
  • Svårt att söka i och organisera
  • Vanligtvis text, ljud, bilder eller video
  • Lagras oftast i datasjöar, men kan förekomma i datalager eller databaser
  • Merparten av all data är ostrukturerad
  • Kan vara mycket värdefull
Introduktion till datatekniker

låttexter

Introduktion till datatekniker

låtspektrum

Introduktion till datatekniker

albumomslag

Introduktion till datatekniker

musikvideo

Introduktion till datatekniker

Lägga till struktur

  • Använd AI för att söka i och organisera ostrukturerad data
  • Lägg till information för att göra den semistrukturerad
Introduktion till datatekniker

Sammanfattning

  • Strukturerad data
  • Semistrukturerad data
  • Ostrukturerad data
  • Skillnader mellan de tre
  • Ge exempel
Introduktion till datatekniker

Nu kör vi en övning!

Introduktion till datatekniker

Preparing Video For Download...