Структури даних

Розуміння Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

Структуровані дані

  • Легко шукати й упорядковувати
  • Узгоджена модель: рядки й стовпці
  • Визначені типи
  • Можна групувати для створення зв'язків
  • Зберігаються у реляційних базах даних
  • Близько 20% даних є структурованими
  • Створюються й запитуються за допомогою SQL
Розуміння Data Engineering

Таблиця співробітників

index last_name first_name role team full_time office
0 Thien Vivian Data Engineer Data Science 1 Belgium
1 Huong Julian Data Scientist Data Science 1 Belgium
2 Duplantier Norbert Software Developer Infrastructure 1 United Kingdom
3 McColgan Jeff Business Developer Sales 1 United States
4 Sanchez Rick Support Agent Customer Service 0 United States
Розуміння Data Engineering

Реляційна база даних

office address number city zipcode
Belgium Martelarenlaan 38 Leuven 3010
UK Old Street 207 London EC1V 9NR
USA 5th Ave 350 New York 10118
Розуміння Data Engineering

Реляційна база даних

index last_name first_name office address number city zipcode
0 Thien Vivian Belgium Martelarenlaan 38 Leuven 3010
1 Huong Julian Belgium Martelarenlaan 38 Leuven 3010
2 Duplantier Norbert UK Old Street 207 London EC1V 9NR
3 McColgan Jeff USA 5th Ave 350 New York 10118
4 Sanchez Rick USA 5th Ave 350 New York 10118
Розуміння Data Engineering

Напівструктуровані дані

  • Відносно легко шукати й упорядковувати
  • Узгоджена модель, менш жорстка реалізація: різні спостереження мають різні розміри
  • Різні типи
  • Можна групувати, але це складніше
  • NoSQL-бази: JSON, XML, YAML
Розуміння Data Engineering

JSON-файл улюблених виконавців

{
  {"user_1645156":
     "last_name": "Lacroix",
     "first_name: "Hadrien",
     "favorite_artists": ["Fools in Deed", "Gojira", "Pain", "Nanowar of Steel"]},
  {"user_5913764":
     "last_name": "Billen",
     "first_name: "Sara",
     "favorite_artists": ["Tamino", "Taylor Swift"]},
  {"user_8436791":
     "last_name": "Sulmont",
     "first_name: "Lis",
     "favorite_artists": ["Arctic Monkeys", "Rihanna", "Nina Simone"]},
  ...
}
Розуміння Data Engineering

Неструктуровані дані

  • Не відповідають моделі, не вкладаються в рядки й стовпці
  • Важко шукати й упорядковувати
  • Здебільшого текст, звук, зображення або відео
  • Зазвичай у «озерах даних», інколи у сховищах чи базах даних
  • Більшість даних — неструктуровані
  • Можуть бути надзвичайно цінними
Розуміння Data Engineering

тексти пісень

Розуміння Data Engineering

спектр пісні

Розуміння Data Engineering

обкладинка альбому

Розуміння Data Engineering

кліп

Розуміння Data Engineering

Додаємо трохи структури

  • Використовуйте ШІ, щоб шукати й упорядковувати неструктуровані дані
  • Додавайте відомості, щоб зробити їх напівструктурованими
Розуміння Data Engineering

Підсумок

  • Структуровані дані
  • Напівструктуровані дані
  • Неструктуровані дані
  • Відмінності між ними
  • Наведіть приклади
Розуміння Data Engineering

Давайте потренуємось!

Розуміння Data Engineering

Preparing Video For Download...