Plateforme d'intelligence des données - Calcul

Introduction à Databricks

Kevin Barlow

Data Practitioner

Pourquoi les organisations se soucient-elles du calcul ?

Engrenage unique

Système d'engrenages

Introduction à Databricks

Apache Spark

  • Créé par les cofondateurs de Databricks
  • Cadre libre (open source)
  • Calcul distribué hautement efficace
  • API pour Python, SQL, Scala, R
  • Convient à tous les cas d'usage :
    • de l'ingénierie des données à Machine Learning et à l'intelligence d'affaires

Découvrez des cours Apache Spark sur DataCamp !

Logo Apache Spark

Introduction à Databricks

Types de grappes

Classique

  • Les ressources de calcul (machines virtuelles) sont créées dans le plan de calcul
  • Databricks fournit la configuration à votre nuage
  • Avantages : calcul et sécurité dans votre environnement, réutilisation de grappes de calcul existantes, etc.
  • Inconvénients : démarrage lent

Plan de contrôle Databricks

Introduction à Databricks

Types de grappes

Sans serveur

  • Les ressources de calcul (machines virtuelles) sont créées dans le plan de contrôle
  • Databricks donne l'accès à vos utilisateurs
  • Avantages : démarrage rapide, dernières nouveautés, performance maximale, amélioration continue par Databricks
  • Inconvénients (?) : calcul hors de votre environnement

Architecture sans serveur

Introduction à Databricks

Nœud unique vs multinœud

Nœud unique

  • Grappe avec seulement un nœud conducteur (Driver)
  • Peut quand même exécuter Spark
  • Peut aussi exécuter des cadres mono‑nœud (p. ex., pandas)
  • Idéal pour de petits ensembles de données

Grappe à nœud unique

Multinœud

  • Grappe avec un nœud conducteur et un ou plusieurs nœuds travailleurs
  • Spark peut répartir le travail sur plusieurs nœuds
  • Idéal pour de grands ensembles de données

Grappe multinœud

Introduction à Databricks

Databricks Runtime

  • Installé sur chaque grappe Databricks
    • Version optimisée d'Apache Spark
    • Photon pour des requêtes SQL plus rapides
    • Bibliothèques courantes (p. ex., pandas, dplyr, scikit‑learn)
    • Logique pour se connecter aux services Databricks

Recommandation générale : utilisez la version LTS (prise en charge à long terme) la plus récente du Runtime

Grappe avec Databricks Runtime

Introduction à Databricks

Passons à la pratique !

Introduction à Databricks

Preparing Video For Download...