Actifs clés de Databricks SQL

Introduction à Databricks SQL

Kevin Barlow

Data Manager

Analogie utile

Un arbre comporte de nombreux éléments qui forment l’ensemble

GIF du système racinaire

Dans Databricks SQL, différents composants se combinent en une solution d’entrepôt de données

Actifs Databricks SQL

Requête

Base de l’analyse dans Databricks SQL
Exécute du SQL sur le calcul
Conforme à la norme ANSI SQL
Traite des données depuis :
- Unity Catalog
- Tables Delta
- Fichiers du data lake
- Flux de données

SELECT
    orderdate AS Date,
    orderpriority AS Priority
    sum(totalprice) AS TotalPrice
FROM sfdc.sales.orders
GROUP BY
    1, 2
ORDER BY
    1, 2

SQL Warehouse

Cluster de calcul dédié au SQL
Optimisations (p. ex. Photon)
Administration simplifiée
Mise à l’échelle facile
Requêtes et outils BI

GIF d’entrepôt SQL

Tables vs vues

Tables

Matérialisations physiques de jeux de données
Écrites au format Delta
Lisibles et accessibles hors pipeline de données
Possibilité d’optimiser la disposition (partitionnement, etc.)

Table dans le stockage d’objets

Tables vs vues

Vues

Représentations virtuelles de résultats de requêtes dans Unity Catalog
Lecture rapide
Idéales pour simplifier les requêtes aval
- Requête source avec de nombreux joins, filtres, etc.
Traitement incrémental disponible

Schéma de vue

Visualisations et tableaux de bord

Visualisations

Représentations visuelles d’un résultat de requête
Créées à partir d’une seule requête

Configuration des visualisations

Tableaux de bord

Ensemble de plusieurs visualisations
Sur plusieurs jeux de données / résultats de requêtes

Exemple de tableau de bord

Passons à la pratique !

Introduction à Databricks SQL