Параллельные вычисления

Введение в дата-инжиниринг

Hadrien Lacroix

Content Developer at DataCamp

Параллельные вычисления

• Основа современных инструментов обработки данных
• Необходимость:
  • Прежде всего — ограничения памяти
  • Также — вычислительная мощность
• Принцип работы:
  • Задача разбивается на небольшие подзадачи
  • Подзадачи распределяются между несколькими компьютерами

¹ Эмодзи: Mohamed Hassan

Преимущества и риски параллельных вычислений

• Сотрудники = вычислительные единицы
• Преимущества
  • Дополнительная вычислительная мощность
  • Снижение потребления памяти
• Недостатки
  • Передача данных требует ресурсов
  • Затраты на коммуникацию

Итоги

• Преимущества и риски
• Реализация в Spotflix

Давайте потренируемся!

Введение в дата-инжиниринг