Оброблення даних

Розуміння Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

конвеєр даних

переміщення даних до озера даних

переміщення даних до озера даних

перевірка пошкоджених даних

Загальне визначення

Оброблення даних: перетворення сирих даних на змістовну інформацію

Цінність оброблення даних

Концептуально

Видалити зайві дані
Оптимізувати витрати на пам'ять, обробку та мережу
Перетворити дані з одного типу в інший

У Spotflix

Дані тестових ознак не потрібні надовго
Зберігати й передавати такі великі файли занадто дорого

конвеєр даних

конвеєр даних

конвеєр даних

Цінність оброблення даних

Концептуально

Видалити зайві дані
Щоб заощадити пам'ять
Перетворити дані з одного типу в інший
Організувати дані
Щоб узгодити зі схемою/структурою
Підвищити продуктивність

У Spotflix

Немає потреби у безвтратному форматі
Не можемо зберігати такі великі файли
Перетворюємо пісні з .flac на .ogg
Реорганізовуємо дані з озера даних до сховищ даних
Приклад таблиці працівників
Наділяємо можливостями дата-сайентістів

Як інженери даних обробляють дані

Маніпулювання, очищення й упорядкування даних
- які можна автоматизувати
- які завжди доведеться виконувати
Зберігати дані в раціонально структурованій БД
Створювати подання над таблицями БД
Оптимізувати продуктивність БД

Відхиляти пошкоджені аудіофайли
Вирішувати, що робити з відсутніми метаданими
Окремі таблиці «артисти» й «альбоми»...
...але надати подання, що їх об'єднує
Індексація

¹ Різницю між пакетною та потоковою обробкою пояснимо в наступному уроці!

логотип Apache Spark

Підсумок

Що таке оброблення даних
Чому воно необхідне
З чого воно складається
Як ми обробляємо дані у Spotflix

Давайте потренуємось!

Розуміння Data Engineering

Preparing Video For Download...