Machine Learning & Spark

Apprentissage automatique avec PySpark

Andrew Collier

Data Scientist, Fathom Data

Construire la gaufre parfaite (une analogie)

Une seule gaufre.

Trouver une recette de gaufres. Donnez des instructions précises :

Un assortiment de gaufres.

Trouver de nombreuses recettes de gaufres.

Apprendre la recette parfaite :

L'ordinateur génère ses propres instructions.

Un nuage de points farine vs sucre pour une régression. Un nuage de points sel vs sucre pour une classification.

Quand les données sont petites, tout tient en RAM.

Quand les données dépassent la RAM, elles sont basculées sur le disque.

Pour des volumes très grands, il est judicieux de répartir les données sur plusieurs machines.

Un ensemble de nœuds dans un cluster.

Un ensemble de nœuds dans un cluster avec un gestionnaire de cluster.

Un ensemble de nœuds dans un cluster avec un gestionnaire de cluster et un driver.

Des exécuteurs sur chaque nœud du cluster.

Apprentissage automatique avec PySpark