Machine Learning & Spark

Machine Learning cu PySpark

Andrew Collier

Data Scientist, Fathom Data

Vafa perfectă (o analogie)

O vafă.

Găsiți o rețetă de vafe. Instrucțiuni explicite:

  • 125 g făină
  • 1 linguriță praf de copt
  • 1 ou
  • 225 ml lapte
  • 1 lingură unt topit

O colecție de vafe.

Găsiți multe rețete de vafe.

Învățați rețeta perfectă:

  1. Analizați multe rețete.
  2. Ce ingrediente?
  3. Ce proporții?

Calculatorul generează propriile instrucțiuni.

Machine Learning cu PySpark

Un grafic făină vs. zahăr pentru regresie. Un grafic sare vs. zahăr pentru clasificare.

Machine Learning cu PySpark

Date în RAM

Când datele sunt mici, întreaga problemă încape în RAM.

Machine Learning cu PySpark

Date ce depășesc RAM-ul

Când datele depășesc capacitatea RAM, sunt transferate pe disc.

Machine Learning cu PySpark

Date distribuite într-un cluster

Pentru volume mari de date, are sens să distribuiți datele pe mai multe computere.

Machine Learning cu PySpark

Ce este Spark?

Sigla Spark.

  • Calcul distribuit pe un cluster.
  • Date procesate în memorie.
  • API de nivel înalt, bine documentat.
Machine Learning cu PySpark

O colecție de noduri într-un cluster.

Machine Learning cu PySpark

O colecție de noduri într-un cluster cu un manager de cluster.

Machine Learning cu PySpark

O colecție de noduri într-un cluster cu un manager de cluster și un driver.

Machine Learning cu PySpark

Executori pe fiecare nod din cluster.

Machine Learning cu PySpark

Înainte!

Machine Learning cu PySpark

Preparing Video For Download...