Machine Learning et Spark

Machine Learning avec PySpark

Andrew Collier

Data Scientist, Fathom Data

Construire la gaufre parfaite (une analogie)

Une seule gaufre.

Trouver une recette de gaufre. Donner des instructions précises :

  • 125 g de farine
  • 1 c. à thé de poudre à pâte
  • 1 œuf
  • 225 ml de lait
  • 1 c. à soupe de beurre fondu

Une collection de gaufres.

Trouver plusieurs recettes de gaufres.

Apprendre la recette parfaite :

  1. Examiner beaucoup de recettes.
  2. Quels ingrédients ?
  3. Quelles proportions ?

L'ordinateur génère ses propres instructions.

Machine Learning avec PySpark

Un graphique farine vs sucre pour une régression. Un graphique sel vs sucre pour une classification.

Machine Learning avec PySpark

Données en RAM

Quand les données sont petites, tout tient en RAM.

Machine Learning avec PySpark

Données au-delà de la RAM

Quand les données dépassent la RAM, elles sont basculées sur le disque.

Machine Learning avec PySpark

Données réparties sur une grappe

Pour des données très volumineuses, il est logique de les répartir sur plusieurs ordinateurs.

Machine Learning avec PySpark

Qu'est-ce que Spark ?

Le logo de Spark.

  • Calculer sur une grappe distribuée.
  • Données traitées en mémoire.
  • API de haut niveau bien documentée.
Machine Learning avec PySpark

Une collection de nœuds dans une grappe.

Machine Learning avec PySpark

Une collection de nœuds dans une grappe avec un gestionnaire de grappe.

Machine Learning avec PySpark

Une collection de nœuds dans une grappe avec un gestionnaire de grappe et un pilote.

Machine Learning avec PySpark

Des exécuteurs sur chaque nœud de la grappe.

Machine Learning avec PySpark

En avant !

Machine Learning avec PySpark

Preparing Video For Download...