Structuri de date

Înțelegerea ingineriei datelor

Hadrien Lacroix

Content Developer at DataCamp

Date structurate

  • Ușor de căutat și organizat
  • Model consistent, rânduri și coloane
  • Tipuri definite
  • Pot fi grupate pentru a forma relații
  • Stocate în baze de date relaționale
  • Aproximativ 20% din date sunt structurate
  • Create și interogate folosind SQL
Înțelegerea ingineriei datelor

Tabel cu angajați

index last_name first_name role team full_time office
0 Thien Vivian Data Engineer Data Science 1 Belgium
1 Huong Julian Data Scientist Data Science 1 Belgium
2 Duplantier Norbert Software Developer Infrastructure 1 United Kingdom
3 McColgan Jeff Business Developer Sales 1 United States
4 Sanchez Rick Support Agent Customer Service 0 United States
Înțelegerea ingineriei datelor

Bază de date relațională

office address number city zipcode
Belgium Martelarenlaan 38 Leuven 3010
UK Old Street 207 London EC1V 9NR
USA 5th Ave 350 New York 10118
Înțelegerea ingineriei datelor

Bază de date relațională

index last_name first_name office address number city zipcode
0 Thien Vivian Belgium Martelarenlaan 38 Leuven 3010
1 Huong Julian Belgium Martelarenlaan 38 Leuven 3010
2 Duplantier Norbert UK Old Street 207 London EC1V 9NR
3 McColgan Jeff USA 5th Ave 350 New York 10118
4 Sanchez Rick USA 5th Ave 350 New York 10118
Înțelegerea ingineriei datelor

Date semi-structurate

  • Relativ ușor de căutat și organizat
  • Model consistent, implementare mai flexibilă: observații de dimensiuni diferite
  • Tipuri variate
  • Pot fi grupate, dar necesită mai mult efort
  • Baze de date NoSQL: JSON, XML, YAML
Înțelegerea ingineriei datelor

Fișier JSON cu artiști favoriți

{
  {"user_1645156":
     "last_name": "Lacroix",
     "first_name: "Hadrien",
     "favorite_artists": ["Fools in Deed", "Gojira", "Pain", "Nanowar of Steel"]},
  {"user_5913764":
     "last_name": "Billen",
     "first_name: "Sara",
     "favorite_artists": ["Tamino", "Taylor Swift"]},
  {"user_8436791":
     "last_name": "Sulmont",
     "first_name: "Lis",
     "favorite_artists": ["Arctic Monkeys", "Rihanna", "Nina Simone"]},
  ...
}
Înțelegerea ingineriei datelor

Date nestructurate

  • Nu urmează un model, nu poate fi organizat în rânduri și coloane
  • Dificil de căutat și organizat
  • De obicei text, sunet, imagini sau videoclipuri
  • De obicei stocat în data lake-uri, poate apărea în depozite sau baze de date
  • Majoritatea datelor sunt nestructurate
  • Poate fi extrem de valoros
Înțelegerea ingineriei datelor

versuri

Înțelegerea ingineriei datelor

spectru melodie

Înțelegerea ingineriei datelor

copertă album

Înțelegerea ingineriei datelor

videoclip muzical

Înțelegerea ingineriei datelor

Adăugarea unei structuri

  • Utilizați AI pentru a căuta și organiza date nestructurate
  • Adăugați informații pentru a le face semi-structurate
Înțelegerea ingineriei datelor

Rezumat

  • Date structurate
  • Date semi-structurate
  • Date nestructurate
  • Diferențe între cele trei
  • Oferiți exemple
Înțelegerea ingineriei datelor

Să exersăm!

Înțelegerea ingineriei datelor

Preparing Video For Download...