Avancerade dataanalysmönster

Introduktion till Databricks SQL

Kevin Barlow

Data Manager

Motivation

Lakehouse-diagram – Analys

Introduktion till Databricks SQL

Underfrågor

  • Uppnås genom att "kapsla" SQL-frågor
    • Den kapslade frågan behandlas som en ny "tabell"
    • Liknar i praktiken att skapa en vy
  • Användbart i många situationer
    • Hämta resultat från en annan fråga
    • Förenkla komplexa frågor
    • Aggregering inom en fråga
SELECT store, totalRev, product
FROM (
    SELECT count(*) as count,
          sum(revenue) as totalRev,
          min(price) as minPrice,
          max(units) as maxUnits,
          region,
          store,
          product
      FROM sales 
      GROUP BY region, store, product
) q
Introduktion till Databricks SQL

Fönsterfunktioner

  • En kategori av SQL-funktioner och tekniker
  • Utför beräkningar över ett specifikt radintervall
    • Raderna har någon form av relation till varandra
  • Exempel:
    • Beräkna ett mätvärde baserat på ett tidsintervall
    • Beräkna förändring mellan på varandra följande rader
    • Beräkna över flera dimensioner
SELECT name,
       dept,
       RANK() OVER 
           (PARTITION BY dept 
         ORDER BY salary) AS rank
  FROM employees;
name dept salary rank
Lisa Sales 10000 1
Alex Sales 30000 2
Fred Engineering 21000 1
Tom Engineering 23000 2
Introduktion till Databricks SQL

Avancerade Databricks SQL-funktioner

RANK()

  • Jämför rader inom en given partition och beräknar en rang för varje rad
SELECT a,
       b,
       RANK() OVER(PARTITION BY a ORDER BY b DESC),
    FROM table_name;
a b rank
A1 3 1
A1 1 3
A1 2 2
A2 1 1

LAG() och LEAD()

  • Returnerar antingen föregående (LAG()) eller efterföljande (LEAD()) värde från en rad
SELECT a,
       b,
       LAG(b) OVER (PARTITION BY a ORDER BY b)
    FROM table_name;
a b lag
A1 3 NULL
A1 1 3
A1 2 1
A2 1 NULL
Introduktion till Databricks SQL

Nu kör vi en övning!

Introduktion till Databricks SQL

Preparing Video For Download...