Обработка данных

Введение в дата-инжиниринг

Hadrien Lacroix

Content Developer at DataCamp

конвейер данных

перемещение данных в озеро данных

перемещение данных в озеро данных

проверка повреждённых данных

Общее определение

Обработка данных: преобразование сырых данных в значимую информацию

Ценность обработки данных

Концептуально

Удаление ненужных данных
Оптимизация затрат на память, обработку и передачу данных
Преобразование данных из одного типа в другой

В Spotflix

Тестовые данные о функциях не нужны долгосрочно
Хранить и передавать такие большие файлы слишком дорого

конвейер данных

конвейер данных

конвейер данных

Ценность обработки данных

Концептуально

Удаление ненужных данных
Для экономии памяти
Преобразование данных из одного типа в другой
Организация данных
Приведение к схеме/структуре
Повышение производительности

В Spotflix

Формат без потерь не нужен
Хранить такие большие файлы слишком дорого
Конвертация треков из .flac в .ogg
Перенос данных из озера данных в хранилища данных
Пример таблицы сотрудников
Открыть возможности для специалистов по данным

Как инженеры данных обрабатывают данные

Манипуляция, очистка и упорядочивание данных
- поддающиеся автоматизации
- необходимые на постоянной основе
Хранение данных в структурированной базе данных
Создание представлений поверх таблиц базы данных
Оптимизация производительности базы данных

Отклонение повреждённых файлов треков
Обработка отсутствующих метаданных
Отдельные таблицы исполнителей и альбомов...
...но с представлением, объединяющим их
Индексирование

¹ Различие между пакетной и потоковой обработкой будет рассмотрено в следующем уроке!

логотип Apache Spark

Итоги

Что такое обработка данных
Зачем она нужна
Из чего она состоит
Как мы обрабатываем данные в Spotflix

Давайте потренируемся!

Введение в дата-инжиниринг

Preparing Video For Download...