Структуры данных

Введение в дата-инжиниринг

Hadrien Lacroix

Content Developer at DataCamp

Структурированные данные

  • Удобно искать и упорядочивать
  • Единая модель: строки и столбцы
  • Определённые типы данных
  • Можно объединять в отношения
  • Хранится в реляционных базах данных
  • Около 20% всех данных — структурированные
  • Создаётся и запрашивается с помощью SQL
Введение в дата-инжиниринг

Таблица сотрудников

index last_name first_name role team full_time office
0 Thien Vivian Data Engineer Data Science 1 Belgium
1 Huong Julian Data Scientist Data Science 1 Belgium
2 Duplantier Norbert Software Developer Infrastructure 1 United Kingdom
3 McColgan Jeff Business Developer Sales 1 United States
4 Sanchez Rick Support Agent Customer Service 0 United States
Введение в дата-инжиниринг

Реляционная база данных

office address number city zipcode
Belgium Martelarenlaan 38 Leuven 3010
UK Old Street 207 London EC1V 9NR
USA 5th Ave 350 New York 10118
Введение в дата-инжиниринг

Реляционная база данных

index last_name first_name office address number city zipcode
0 Thien Vivian Belgium Martelarenlaan 38 Leuven 3010
1 Huong Julian Belgium Martelarenlaan 38 Leuven 3010
2 Duplantier Norbert UK Old Street 207 London EC1V 9NR
3 McColgan Jeff USA 5th Ave 350 New York 10118
4 Sanchez Rick USA 5th Ave 350 New York 10118
Введение в дата-инжиниринг

Полуструктурированные данные

  • Относительно удобно искать и упорядочивать
  • Единая модель, но гибкая реализация: разные записи могут иметь разный размер
  • Разнородные типы данных
  • Можно группировать, но это требует дополнительных усилий
  • Базы данных NoSQL: JSON, XML, YAML
Введение в дата-инжиниринг

JSON-файл с любимыми исполнителями

{
  {"user_1645156":
     "last_name": "Lacroix",
     "first_name: "Hadrien",
     "favorite_artists": ["Fools in Deed", "Gojira", "Pain", "Nanowar of Steel"]},
  {"user_5913764":
     "last_name": "Billen",
     "first_name: "Sara",
     "favorite_artists": ["Tamino", "Taylor Swift"]},
  {"user_8436791":
     "last_name": "Sulmont",
     "first_name: "Lis",
     "favorite_artists": ["Arctic Monkeys", "Rihanna", "Nina Simone"]},
  ...
}
Введение в дата-инжиниринг

Неструктурированные данные

  • Не следует модели, не укладывается в строки и столбцы
  • Сложно искать и упорядочивать
  • Как правило, это текст, аудио, изображения или видео
  • Обычно хранится в озёрах данных; может встречаться в хранилищах и базах данных
  • Большая часть всех данных — неструктурированные
  • Может быть чрезвычайно ценными
Введение в дата-инжиниринг

тексты песен

Введение в дата-инжиниринг

спектр песни

Введение в дата-инжиниринг

обложка альбома

Введение в дата-инжиниринг

музыкальное видео

Введение в дата-инжиниринг

Добавление структуры

  • Использование ИИ для поиска и упорядочивания неструктурированных данных
  • Добавление метаданных для перевода в полуструктурированный формат
Введение в дата-инжиниринг

Итоги

  • Структурированные данные
  • Полуструктурированные данные
  • Неструктурированные данные
  • Различия между тремя типами
  • Примеры каждого типа
Введение в дата-инжиниринг

Давайте потренируемся!

Введение в дата-инжиниринг

Preparing Video For Download...