Machine Learning y Spark

Machine learning con PySpark

Andrew Collier

Data Scientist, Fathom Data

Cómo hacer el gofre perfecto (una analogía)

Un solo gofre.

Busca una receta de gofres. Da instrucciones explícitas:

  • 125 g de harina
  • 1 c de levadura química
  • 1 huevo
  • 225 ml de leche
  • 1 C de mantequilla derretida

Una variedad de gofres.

Busca muchas recetas de gofres.

Aprende la receta perfecta:

  1. Revisa muchas recetas.
  2. ¿Qué ingredientes?
  3. ¿Qué proporciones?

El ordenador genera sus propias instrucciones.

Machine learning con PySpark

Un diagrama de harina frente a azúcar para un modelo de regresión. Un diagrama de sal frente a azúcar para un problema de clasificación.

Machine learning con PySpark

Datos en RAM

Cuando los datos son pequeños, todo el problema cabe en la RAM.

Machine learning con PySpark

Datos que superan la RAM

Cuando los datos son demasiado grandes para la RAM, se intercambian al disco.

Machine learning con PySpark

Datos distribuidos en un clúster

Para datos muy grandes conviene distribuirlos entre varios equipos.

Machine learning con PySpark

¿Qué es Spark?

El logotipo de Spark.

  • Computación distribuida en un clúster.
  • Datos procesados en memoria.
  • API de alto nivel y bien documentada.
Machine learning con PySpark

Un conjunto de nodos en un clúster.

Machine learning con PySpark

Un conjunto de nodos en un clúster con un gestor de clúster.

Machine learning con PySpark

Un conjunto de nodos en un clúster con un gestor de clúster y un driver.

Machine learning con PySpark

Ejecutores en cada nodo del clúster.

Machine learning con PySpark

¡Adelante!

Machine learning con PySpark

Preparing Video For Download...