Machine Learning & Spark

Maschinelles Lernen mit PySpark

Andrew Collier

Data Scientist, Fathom Data

Die perfekte Waffel bauen (eine Analogie)

Eine einzelne Waffel.

Finde ein Waffelrezept. Gib genaue Anweisungen:

  • 125 g Mehl
  • 1 TL Backpulver
  • 1 Ei
  • 225 ml Milch
  • 1 EL geschmolzene Butter

Viele Waffeln.

Finde viele Waffelrezepte.

Lerne das perfekte Rezept:

  1. Schau dir viele Rezepte an.
  2. Welche Zutaten?
  3. Welche Verhältnisse?

Der Computer erstellt eigene Anweisungen.

Maschinelles Lernen mit PySpark

Diagramm: Mehl vs. Zucker für ein Regressionsmodell. Diagramm: Salz vs. Zucker für ein Klassifikationsproblem.

Maschinelles Lernen mit PySpark

Daten im RAM

Wenn Daten klein sind, passt das gesamte Problem in den RAM.

Maschinelles Lernen mit PySpark

Daten überschreiten den RAM

Wenn Daten zu groß für den RAM sind, werden sie auf die Festplatte ausgelagert.

Maschinelles Lernen mit PySpark

Daten über einen Cluster verteilt

Für sehr große Daten ist es sinnvoll, sie über mehrere Computer zu verteilen.

Maschinelles Lernen mit PySpark

Was ist Spark?

Das Spark-Logo.

  • Rechnen über einen verteilten Cluster.
  • Datenverarbeitung im Arbeitsspeicher.
  • Gut dokumentierte, hochstufige API.
Maschinelles Lernen mit PySpark

Eine Gruppe von Knoten in einem Cluster.

Maschinelles Lernen mit PySpark

Eine Gruppe von Knoten in einem Cluster mit einem Cluster-Manager.

Maschinelles Lernen mit PySpark

Eine Gruppe von Knoten in einem Cluster mit Cluster-Manager und Driver.

Maschinelles Lernen mit PySpark

Executors auf jedem Knoten im Cluster.

Maschinelles Lernen mit PySpark

Weiter geht's!

Maschinelles Lernen mit PySpark

Preparing Video For Download...