Datové struktury

Understanding Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

Strukturovaná data

  • Snadné vyhledávání a organizace
  • Konzistentní model, řádky a sloupce
  • Definované datové typy
  • Lze seskupit do relací
  • Uloženo v relačních databázích
  • Přibližně 20 % dat je strukturovaných
  • Vytvářeno a dotazováno pomocí SQL
Understanding Data Engineering

Tabulka zaměstnanců

index last_name first_name role team full_time office
0 Thien Vivian Data Engineer Data Science 1 Belgium
1 Huong Julian Data Scientist Data Science 1 Belgium
2 Duplantier Norbert Software Developer Infrastructure 1 United Kingdom
3 McColgan Jeff Business Developer Sales 1 United States
4 Sanchez Rick Support Agent Customer Service 0 United States
Understanding Data Engineering

Relační databáze

office address number city zipcode
Belgium Martelarenlaan 38 Leuven 3010
UK Old Street 207 London EC1V 9NR
USA 5th Ave 350 New York 10118
Understanding Data Engineering

Relační databáze

index last_name first_name office address number city zipcode
0 Thien Vivian Belgium Martelarenlaan 38 Leuven 3010
1 Huong Julian Belgium Martelarenlaan 38 Leuven 3010
2 Duplantier Norbert UK Old Street 207 London EC1V 9NR
3 McColgan Jeff USA 5th Ave 350 New York 10118
4 Sanchez Rick USA 5th Ave 350 New York 10118
Understanding Data Engineering

Polostrukturovaná data

  • Relativně snadné vyhledávání a organizace
  • Konzistentní model, méně rigidní implementace: různé záznamy mají různé velikosti
  • Různé datové typy
  • Lze seskupit, ale vyžaduje více práce
  • NoSQL databáze: JSON, XML, YAML
Understanding Data Engineering

JSON soubor s oblíbenými interprety

{
  {"user_1645156":
     "last_name": "Lacroix",
     "first_name: "Hadrien",
     "favorite_artists": ["Fools in Deed", "Gojira", "Pain", "Nanowar of Steel"]},
  {"user_5913764":
     "last_name": "Billen",
     "first_name: "Sara",
     "favorite_artists": ["Tamino", "Taylor Swift"]},
  {"user_8436791":
     "last_name": "Sulmont",
     "first_name: "Lis",
     "favorite_artists": ["Arctic Monkeys", "Rihanna", "Nina Simone"]},
  ...
}
Understanding Data Engineering

Nestrukturovaná data

  • Není strukturováno do řádků a sloupců
  • Obtížné vyhledávání a organizace
  • Obvykle text, zvuk, obrázky nebo videa
  • Ukládáno v datových jezerech, vyskytuje se i v datových skladech nebo databázích
  • Většina dat je nestrukturovaná
  • Může být velmi cenná
Understanding Data Engineering

texty písní

Understanding Data Engineering

spektrum skladby

Understanding Data Engineering

obal alba

Understanding Data Engineering

hudební videoklip

Understanding Data Engineering

Přidání struktury

  • Vyhledávání a organizace nestrukturovaných dat pomocí AI
  • Přidání informací pro vytvoření polostrukturovaných dat
Understanding Data Engineering

Shrnutí

  • Strukturovaná data
  • Polostrukturovaná data
  • Nestrukturovaná data
  • Rozdíly mezi těmito třemi typy
  • Příklady jednotlivých typů
Understanding Data Engineering

Pojďme procvičovat!

Understanding Data Engineering

Preparing Video For Download...