Інженерія даних і великі дані

Розуміння Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

Про курс

• Концептуальний курс
• Без кодування
• Цілі
  • Вміти спілкуватися з інженерами даних
  • Дати міцну основу для подальшого навчання

Розділ 1

Що таке інженерія даних?

1. Інженерія даних і великі дані
2. Інженери даних vs дата-сайєнтисти
3. Конвеєри даних

Розділ 2

Як працює зберігання даних

1. Структуровані vs неструктуровані дані
2. SQL
3. Сховище даних і озера даних

Розділ 3

Як переміщувати й обробляти дані

1. Обробка даних
2. Планування обробки
3. Паралельні обчислення
4. Хмарні обчислення

$$

$$

$$

Робочий процес з даними

Робочий процес з даними

Робочий процес з даними

Робочий процес з даними

Інженери даних

Інженери даних

Інженери даних забезпечують:

• правильні дані
• у належному форматі
• потрібним людям
• якомога ефективніше

Обов'язки інженера даних

• Завантажувати дані з різних джерел
• Оптимізувати бази даних для аналізу
• Видаляти пошкоджені дані
• Розробляти, будувати, тестувати й підтримувати архітектури даних

Інженери даних і великі дані

• Великі дані стають нормою =>

Інженери даних і великі дані

• Великі дані стають нормою => інженери даних дедалі потрібніші
• Великі дані:
  • Потрібно думати, як впоратися з їхнім обсягом
  • Такі великі, що традиційні методи вже не працюють

Зростання великих даних

• Датчики та пристрої
• Соціальні мережі
• Корпоративні дані
• VoIP (голосовий зв'язок, мультимедійні сесії)

¹ Data Age 2025, Seagate, November 2018

П'ять V

• Volume (скільки?)
• Variety (які саме?)
• Velocity (як часто?)
• Veracity (наскільки точні?)
• Value (наскільки корисні?)

Підсумок

• Що на вас чекає
• Як дані рухаються в організації
• Коли втручається інженер даних
• Які в нього обов'язки
• Як інженерія даних пов'язана з великими даними

Давайте потренуємось!

Розуміння Data Engineering