Transformer des données

Introduction à Databricks SQL

Kevin Barlow

Data Manager

Motivation

Flux Lakehouse - Ingestion

Introduction à Databricks SQL

Transformation dans le lakehouse

Schéma Lakehouse - Transformation

Introduction à Databricks SQL

Nettoyer et transformer les données

  • Nettoyer les données de la couche Bronze (brutes) vers la couche Silver (prêtes pour l'analyse)
  • Étape clé pour les tables en aval
  • Activités courantes
    • Retirer les valeurs NULL
    • Normaliser les valeurs
    • Ajuster les types de données
CREATE TABLE silver_layer AS (
SELECT DISTINCT c.id, 
    c.last_name || ', ' || c.first_name 
        AS name, 
    format(s.date,'YYYY-mm-dd') 
        AS sale_date, 
    round(s.price, 2) 
        AS sale_price
    s.item_name
FROM sales_data s
LEFT JOIN contacts c on c.id = s.id)
Introduction à Databricks SQL

Agréger les données

  • Combiner et simplifier les données de la couche Silver vers la couche Gold (prêtes pour la BI)
  • Ciblées pour un besoin précis en veille stratégique
    • Excellentes candidates pour des vues
  • Activités courantes
    • Retirer les colonnes superflues
    • Agréger selon des dimensions
    • Calculer des mesures / ICP
CREATE VIEW q3_revenue AS (
SELECT sum(revenue) AS total_rev,
  count(*) AS total_count,
  total_rev / total_count AS avg_sale,
  category,
  item
FROM silver_layer
WHERE date BETWEEN '2024-07-01' 
  AND '2024-09-30'
GROUP BY category, item)
Introduction à Databricks SQL

Automatiser des tâches

GIF de flux de travaux

Introduction à Databricks SQL

Passons à la pratique !

Introduction à Databricks SQL

Preparing Video For Download...