Fonctionnalités clés de la plateforme Databricks Lakehouse

Concepts de Databricks

Kevin Barlow

Data Practitioner

Apache Spark

Apache Spark est un cadre libre de traitement des données et le moteur sous-jacent de Databricks.

Cours DataCamp

Introduction à Pyspark
Notions de base du Big Data avec Pyspark
Nettoyer des données avec Pyspark
Machine Learning avec Pyspark
Introduction à Spark SQL en Python

Avantages de Spark

Principaux avantages :

Cadre libre extensible et flexible
Grande communauté de développeurs
Hautes performances
Optimisations Databricks

Schéma d'un grappe Spark

¹ https://spark.apache.org/docs/latest/cluster-overview.html

Bases de l'infonuagique

Informatique classique

Infonuagique

Calcul Databricks

Grappe (Cluster)

Ensemble de ressources de calcul
Toutes charges de travail, tous cas d'usage
Polyvalente vs. tâches

Langages pris en charge par Databricks

Entrepôts SQL

SQL seulement
Cas d'usage en BI
Photon

Langage SQL

Stockage infonuagique des données

Stockage infonuagique des données - BD

Stockage infonuagique des données - fichiers

Delta

Logo Delta Lake

Delta est un format de fichiers de stockage de données libre qui offre :

Transactions ACID
Traitement unifié par lots et en continu
Évolution de schéma
Historique des tables
Remontée dans le temps

¹ delta.io

Unity Catalog

Unity Catalog est une stratégie ouverte de gouvernance des données qui contrôle l'accès à tous les actifs de données sur la plateforme Databricks Lakehouse.

Instructions SQL GRANT, REVOKE pour gérer l'accès
Interface simple pour la gouvernance

Catalogue de données

Interface Databricks

Conçu pour faciliter l'accès aux capacités selon votre charge de travail.

Tous les utilisateurs ont accès aux données et au calcul
Les utilisateurs SQL retrouvent une interface familière pour requêtes et rapports
Les ingénieurs de données tirent parti de Delta Live Tables
Les charges de travail en Machine Learning utilisent modèles, caractéristiques, et plus

Menu Databricks

Faisons le point !

Concepts de Databricks