Machine Learning i Spark

Uczenie maszynowe z PySpark

Andrew Collier

Data Scientist, Fathom Data

Idealne gofry (analogia)

Jedna gofra.

Znajdź przepis na gofry. Podaj dokładne instrukcje:

  • 125 g mąki
  • 1 łyżeczka proszku do pieczenia
  • 1 jajko
  • 225 ml mleka
  • 1 łyżka roztopionego masła

Zbiór gofrów.

Znajdź wiele przepisów na gofry.

Naucz się idealnego przepisu:

  1. Przejrzyj wiele przepisów.
  2. Jakie składniki?
  3. Jakie proporcje?

Komputer generuje własne instrukcje.

Uczenie maszynowe z PySpark

Wykres mąki i cukru dla modelu regresji. Wykres soli i cukru dla problemu klasyfikacji.

Uczenie maszynowe z PySpark

Dane w pamięci RAM

Gdy dane są małe, cały problem mieści się w pamięci RAM.

Uczenie maszynowe z PySpark

Dane przekraczają pojemność RAM

Gdy dane są zbyt duże dla RAM, są przenoszone na dysk.

Uczenie maszynowe z PySpark

Dane rozproszone w klastrze

W przypadku bardzo dużych danych sensowne jest rozproszenie ich na wielu komputerach.

Uczenie maszynowe z PySpark

Czym jest Spark?

Logo Spark.

  • Obliczenia w rozproszonym klastrze.
  • Dane przetwarzane w pamięci.
  • Dobrze udokumentowane API wysokiego poziomu.
Uczenie maszynowe z PySpark

Zbiór węzłów w klastrze.

Uczenie maszynowe z PySpark

Zbiór węzłów w klastrze z menedżerem klastra.

Uczenie maszynowe z PySpark

Zbiór węzłów w klastrze z menedżerem klastra i sterownikiem.

Uczenie maszynowe z PySpark

Executory na każdym węźle klastra.

Uczenie maszynowe z PySpark

Dalej!

Uczenie maszynowe z PySpark

Preparing Video For Download...