Strojové učení a Spark

Machine Learning with PySpark

Andrew Collier

Data Scientist, Fathom Data

Dokonalá vafle (analogie)

Jedna vafle.

Najít recept na vafle. Explicitní instrukce:

  • 125 g mouky
  • 1 lžička prášku do pečiva
  • 1 vejce
  • 225 ml mléka
  • 1 lžíce rozpuštěného másla

Kolekce vaflí.

Najít mnoho receptů na vafle.

Naučit se dokonalý recept:

  1. Prozkoumat mnoho receptů.
  2. Jaké ingredience?
  3. Jaké proporce?

Počítač si vygeneruje vlastní instrukce.

Machine Learning with PySpark

Graf mouka vs. cukr pro regresní model. Graf sůl vs. cukr pro klasifikační úlohu.

Machine Learning with PySpark

Data v RAM

Pokud jsou data malá, celý problém se vejde do RAM.

Machine Learning with PySpark

Data přesahují RAM

Pokud jsou data příliš velká pro RAM, přesouvají se na disk.

Machine Learning with PySpark

Data distribuovaná napříč clusterem

Pro velmi velká data má smysl distribuovat je napříč více počítači.

Machine Learning with PySpark

Co je Spark?

Logo Spark.

  • Výpočty napříč distribuovaným clusterem.
  • Data zpracovávaná v paměti.
  • Dobře zdokumentované vysokoúrovňové API.
Machine Learning with PySpark

Kolekce uzlů v clusteru.

Machine Learning with PySpark

Kolekce uzlů v clusteru se správcem clusteru.

Machine Learning with PySpark

Kolekce uzlů v clusteru se správcem clusteru a driverem.

Machine Learning with PySpark

Exekutory na každém uzlu clusteru.

Machine Learning with PySpark

Vpřed!

Machine Learning with PySpark

Preparing Video For Download...