Дата-инжиниринг и большие данные

Введение в дата-инжиниринг

Hadrien Lacroix

Content Developer at DataCamp

О курсе

• Концептуальный курс
• Без программирования
• Цели
  • Уметь общаться с дата-инженерами
  • Заложить прочную основу для дальнейшего изучения

Глава 1

Что такое дата-инжиниринг?

1. Дата-инжиниринг и большие данные
2. Дата-инженеры и дата-учёные
3. Конвейеры данных

Глава 2

Как хранятся данные

1. Структурированные и неструктурированные данные
2. SQL
3. Хранилища данных и озёра данных

Глава 3

Как перемещать и обрабатывать данные

1. Обработка данных
2. Планирование обработки данных
3. Параллельные вычисления
4. Облачные вычисления

$$

$$

$$

Поток данных

Поток данных

Поток данных

Поток данных

Дата-инженеры

Дата-инженеры

Дата-инженеры обеспечивают:

• нужные данные
• в правильном формате
• нужным людям
• максимально эффективно

Обязанности дата-инженера

• Загрузка данных из разных источников
• Оптимизация баз данных для анализа
• Удаление повреждённых данных
• Разработка, построение, тестирование и поддержка архитектур данных

Дата-инженеры и большие данные

• Большие данные становятся нормой =>

Дата-инженеры и большие данные

• Большие данные становятся нормой => дата-инженеры востребованы всё больше
• Большие данные:
  • Требуют особых подходов к работе с объёмом
  • Настолько велики, что традиционные методы больше не справляются

Рост объёма больших данных

• Датчики и устройства
• Социальные сети
• Корпоративные данные
• VoIP (голосовая связь, мультимедийные сессии)

¹ Data Age 2025, Seagate, ноябрь 2018

Пять V

• Volume — объём (сколько?)
• Variety — разнообразие (какие?)
• Velocity — скорость (как часто?)
• Veracity — достоверность (насколько точно?)
• Value — ценность (насколько полезно?)

Итоги

• Что вас ждёт в курсе
• Как данные движутся внутри организации
• Когда вмешивается дата-инженер
• Каковы его обязанности
• Как дата-инжиниринг связан с большими данными

Давайте потренируемся!

Введение в дата-инжиниринг