Машинное обучение и Spark

Машинное обучение с PySpark

Andrew Collier

Data Scientist, Fathom Data

Идеальная вафля (аналогия)

Одна вафля.

Найти рецепт вафли. Дать точные инструкции:

  • 125 г муки
  • 1 ч. л. разрыхлителя
  • 1 яйцо
  • 225 мл молока
  • 1 ст. л. растопленного масла

Множество вафель.

Изучить много рецептов вафель.

Найти идеальный рецепт:

  1. Просмотреть множество рецептов.
  2. Какие ингредиенты?
  3. Какие пропорции?

Компьютер сам формирует инструкции.

Машинное обучение с PySpark

График муки и сахара для регрессионной модели. График соли и сахара для задачи классификации.

Машинное обучение с PySpark

Данные в оперативной памяти

Когда данных мало, вся задача помещается в оперативную память.

Машинное обучение с PySpark

Данные превышают объём RAM

Когда данных слишком много для оперативной памяти, они выгружаются на диск.

Машинное обучение с PySpark

Данные распределены по кластеру

При очень больших объёмах данных имеет смысл распределить их между несколькими компьютерами.

Машинное обучение с PySpark

Что такое Spark?

Логотип Spark.

  • Вычисления в распределённом кластере.
  • Данные обрабатываются в памяти.
  • Хорошо документированный высокоуровневый API.
Машинное обучение с PySpark

Набор узлов в кластере.

Машинное обучение с PySpark

Набор узлов в кластере с диспетчером кластера.

Машинное обучение с PySpark

Набор узлов в кластере с диспетчером и драйвером.

Машинное обучение с PySpark

Исполнители на каждом узле кластера.

Машинное обучение с PySpark

Вперёд!

Машинное обучение с PySpark

Preparing Video For Download...