Maskininlärning & Spark

Maskininlärning med PySpark

Andrew Collier

Data Scientist, Fathom Data

Den perfekta våfflan (en analogi)

En enda våffla.

Hitta ett våffelrecept. Ge explicita instruktioner:

  • 125 g mjöl
  • 1 t bakpulver
  • 1 ägg
  • 225 ml mjölk
  • 1 msk smält smör

En samling våfflor.

Hitta många våffelrecept.

Lär dig det perfekta receptet:

  1. Studera många recept.
  2. Vilka ingredienser?
  3. Vilka proportioner?

Datorn genererar sina egna instruktioner.

Maskininlärning med PySpark

Ett diagram över mjöl kontra socker för en regressionsmodell. Ett diagram över salt kontra socker för ett klassificeringsproblem.

Maskininlärning med PySpark

Data i RAM

När datamängden är liten ryms hela problemet i RAM.

Maskininlärning med PySpark

Data överstiger RAM

När data är för stor för RAM växlas den ut till disk.

Maskininlärning med PySpark

Data fördelad över ett kluster

För mycket stora datamängder är det logiskt att fördela data över flera datorer.

Maskininlärning med PySpark

Vad är Spark?

Spark-logotypen.

  • Beräkningar över ett distribuerat kluster.
  • Data bearbetas i minnet.
  • Väldokumenterat högnivå-API.
Maskininlärning med PySpark

En samling noder i ett kluster.

Maskininlärning med PySpark

En samling noder i ett kluster med en klusterhanterare.

Maskininlärning med PySpark

En samling noder i ett kluster med en klusterhanterare och drivrutin.

Maskininlärning med PySpark

Exekverare på varje nod i klustret.

Maskininlärning med PySpark

Vidare!

Maskininlärning med PySpark

Preparing Video For Download...