Automatizace pomocí dbt build

Intermediate dbt

Mike Metzger

Data Engineer

Přehled

  • sources a seeds poskytují vstupní data pro dbt
  • models zajišťují transformaci dat (obvykle ze sources / seeds) pro koncové uživatele
  • tests ověřují sources, seeds, models
    • Vestavěné (unique, not_null, relation, accepted_values)
    • Singulární
    • Generické / znovupoužitelné
  • dbt build provádí všechny tyto úlohy, obvykle v produkci
Intermediate dbt

dbt build

dbt build:

  • Kombinace více úloh
  • Spouští modely (dbt run)
  • Provádí validace pomocí testů (dbt test)
  • Zpracovává seeds (dbt seed)
  • Další možnosti (dbt snapshot)
  • NEPROVÁDÍ operace dbt docs

Příkazy lze spouštět i jednotlivě

Stavba

1 Photo by Randy Fath on Unsplash
Intermediate dbt

dbt build – proč?

  • Jednotlivé dílčí příkazy fungují dobře, ale neřeší všechny potenciální problémy
    • dbt run nejprve neprovede validaci (tj. testy se nespustí)
    • dbt seed nemusí být pro určité dotazy kompletní
  • dbt build určí závislosti a spustí všechny testy před změnami v produkci
  • dbt build může být zbytečně robustní pro testování nebo drobné přírůstkové změny
  • V případě potřeby lze kroky spustit ručně
Intermediate dbt

Možnosti dbt build

  • dbt build --select <object>
  • dbt build -d
  • dbt build --exclude <object>
Intermediate dbt

Pojďme procvičovat!

Intermediate dbt

Preparing Video For Download...