Vanliga mönster inom datateknik

Introduktion till Databricks SQL

Kevin Barlow

Data Manager

Motivation

Lakehouse-diagram – transformation

Introduktion till Databricks SQL

Hantera inkommande data

Inkrementell tillägg

  • Lägg till all ny data i slutet av befintlig tabell
    INSERT INTO students 
    TABLE visiting_students;
    

Diagram för inkrementellt tillägg

Change Data Capture (CDC)

  • Integrerar data i befintlig tabell
    MERGE INTO target USING source
    ON target.key = source.key
    WHEN MATCHED THEN UPDATE SET *;
    

CDC-diagram

Introduktion till Databricks SQL

Dataoptimering

OPTIMIZE

  • Komprimerar en delmängd data
  • Minskar "problemet med små filer"

Z-ORDER

  • Liknar indexering i databassystem
  • Samlokaliserar relaterad data i samma filer
  • Kan minska läsningstiden för data
> OPTIMIZE table_name;

> OPTIMIZE table_name 
    WHERE date >= '2024-01-01';

> OPTIMIZE table_name
    WHERE date >= current_timestamp() 
        - INTERVAL 1 day
    ZORDER BY (eventType);
Introduktion till Databricks SQL

Nu kör vi en övning!

Introduktion till Databricks SQL

Preparing Video For Download...