Машинне навчання й Spark

Machine Learning з PySpark

Andrew Collier

Data Scientist, Fathom Data

Створюємо ідеальну вафлю (аналогія)

Одна вафля.

Знайдіть рецепт вафель. Дайте чіткі інструкції:

  • 125 г борошна
  • 1 ч. л. розпушувача
  • 1 яйце
  • 225 мл молока
  • 1 ст. л. топленого масла

Багато вафель.

Знайдіть багато рецептів вафель.

Вивчіть ідеальний рецепт:

  1. Перегляньте багато рецептів.
  2. Які інгредієнти?
  3. Які пропорції?

Комп'ютер генерує власні інструкції.

Machine Learning з PySpark

Графік «борошно проти цукру» для регресії. Графік «сіль проти цукру» для класифікації.

Machine Learning з PySpark

Дані в RAM

Коли дані малі, вся задача вміщується в RAM.

Machine Learning з PySpark

Дані перевищують RAM

Коли даних більше за RAM, їх підмінюють на диск.

Machine Learning з PySpark

Дані розподілені по кластеру

Для дуже великих даних доцільно розподілити їх між кількома комп'ютерами.

Machine Learning з PySpark

Що таке Spark?

Логотип Spark.

  • Обчислення на розподіленому кластері.
  • Обробка даних у пам'яті.
  • Добре задокументований високорівневий API.
Machine Learning з PySpark

Набір вузлів у кластері.

Machine Learning з PySpark

Набір вузлів у кластері з менеджером кластера.

Machine Learning з PySpark

Набір вузлів у кластері з менеджером кластера та драйвером.

Machine Learning з PySpark

Виконавці на кожному вузлі кластера.

Machine Learning з PySpark

Рухаймось далі!

Machine Learning з PySpark

Preparing Video For Download...