Struktury danych

Wprowadzenie do inżynierii danych

Hadrien Lacroix

Content Developer at DataCamp

Dane ustrukturyzowane

  • Łatwe do przeszukiwania i organizowania
  • Spójny model – wiersze i kolumny
  • Zdefiniowane typy danych
  • Można grupować, tworząc relacje
  • Przechowywane w relacyjnych bazach danych
  • Około 20% wszystkich danych jest ustrukturyzowanych
  • Tworzone i odpytywane za pomocą SQL
Wprowadzenie do inżynierii danych

Tabela pracowników

index last_name first_name role team full_time office
0 Thien Vivian Data Engineer Data Science 1 Belgium
1 Huong Julian Data Scientist Data Science 1 Belgium
2 Duplantier Norbert Software Developer Infrastructure 1 United Kingdom
3 McColgan Jeff Business Developer Sales 1 United States
4 Sanchez Rick Support Agent Customer Service 0 United States
Wprowadzenie do inżynierii danych

Relacyjna baza danych

office address number city zipcode
Belgium Martelarenlaan 38 Leuven 3010
UK Old Street 207 London EC1V 9NR
USA 5th Ave 350 New York 10118
Wprowadzenie do inżynierii danych

Relacyjna baza danych

index last_name first_name office address number city zipcode
0 Thien Vivian Belgium Martelarenlaan 38 Leuven 3010
1 Huong Julian Belgium Martelarenlaan 38 Leuven 3010
2 Duplantier Norbert UK Old Street 207 London EC1V 9NR
3 McColgan Jeff USA 5th Ave 350 New York 10118
4 Sanchez Rick USA 5th Ave 350 New York 10118
Wprowadzenie do inżynierii danych

Dane częściowo ustrukturyzowane

  • Stosunkowo łatwe do przeszukiwania i organizowania
  • Spójny model, mniej rygorystyczna implementacja: różne obserwacje mają różne rozmiary
  • Różne typy danych
  • Można grupować, ale wymaga więcej pracy
  • Bazy NoSQL: JSON, XML, YAML
Wprowadzenie do inżynierii danych

Ulubieni artyści – plik JSON

{
  {"user_1645156":
     "last_name": "Lacroix",
     "first_name: "Hadrien",
     "favorite_artists": ["Fools in Deed", "Gojira", "Pain", "Nanowar of Steel"]},
  {"user_5913764":
     "last_name": "Billen",
     "first_name: "Sara",
     "favorite_artists": ["Tamino", "Taylor Swift"]},
  {"user_8436791":
     "last_name": "Sulmont",
     "first_name: "Lis",
     "favorite_artists": ["Arctic Monkeys", "Rihanna", "Nina Simone"]},
  ...
}
Wprowadzenie do inżynierii danych

Dane nieustrukturyzowane

  • Nie ma modelu, nie mieści się w wierszach i kolumnach
  • Trudne do przeszukiwania i organizowania
  • Zazwyczaj tekst, dźwięk, obrazy lub filmy
  • Przechowywane głównie w data lakes, mogą pojawiać się w hurtowniach lub bazach danych
  • Większość danych jest nieustrukturyzowana
  • Może mieć bardzo dużą wartość
Wprowadzenie do inżynierii danych

tekst piosenki

Wprowadzenie do inżynierii danych

widmo piosenki

Wprowadzenie do inżynierii danych

okładka albumu

Wprowadzenie do inżynierii danych

teledysk

Wprowadzenie do inżynierii danych

Dodawanie struktury

  • Użyj AI do przeszukiwania i organizowania danych nieustrukturyzowanych
  • Dodaj informacje, by uzyskać dane częściowo ustrukturyzowane
Wprowadzenie do inżynierii danych

Podsumowanie

  • Dane ustrukturyzowane
  • Dane częściowo ustrukturyzowane
  • Dane nieustrukturyzowane
  • Różnice między trzema typami
  • Podawanie przykładów
Wprowadzenie do inżynierii danych

Czas na ćwiczenia!

Wprowadzenie do inżynierii danych

Preparing Video For Download...