Automatizzare con dbt build

dbt intermedio

Mike Metzger

Data Engineer

Riepilogo

  • sources e seeds forniscono i dati iniziali a dbt
  • I models trasformano i dati (di solito da sources / seeds) per gli utenti a valle
  • I tests possono validare sources, seeds, models
    • Integrati (unique, not_null, relation, accepted_values)
    • Singolari
    • Generici / Riutilizzabili
  • dbt build esegue tutte queste attività, di solito in produzione
dbt intermedio

dbt build

dbt build:

  • Combinazione di più task
  • Esegue i modelli (dbt run)
  • Esegue le validazioni con i test (dbt test)
  • Processa i seed (dbt seed)
  • Altre opzioni disponibili (dbt snapshot)
  • NON esegue le operazioni di dbt docs

I comandi possono essere eseguiti anche singolarmente

Costruzione

1 Foto di Randy Fath su Unsplash
dbt intermedio

dbt build: perché?

  • I sottocomandi singoli funzionano, ma non coprono tutti i possibili problemi
    • dbt run non valida prima (nessun test eseguito)
    • dbt seed può non essere sufficiente per alcune query
  • dbt build determina le dipendenze ed esegue tutti i test prima dei cambiamenti in produzione
  • dbt build può essere eccessivo se devi solo testare o fare piccoli incrementali
  • In caso di bisogno, i passaggi si possono eseguire manualmente
dbt intermedio

Opzioni di dbt build

  • dbt build --select <object>
  • dbt build -d
  • dbt build --exclude <object>
dbt intermedio

Passiamo alla pratica !

dbt intermedio

Preparing Video For Download...