Automatizare cu dbt build

dbt intermediar

Mike Metzger

Data Engineer

Recapitulare

  • sources și seeds furnizează datele inițiale pentru dbt
  • models gestionează transformarea datelor (de obicei din sources / seeds) pentru utilizatorii din aval
  • tests pot valida sources, seeds, models
    • Integrate (unique, not_null, relation, accepted_values)
    • Singulare
    • Generice / Reutilizabile
  • dbt build execută toate aceste sarcini, de obicei în producție
dbt intermediar

dbt build

dbt build:

  • Combină mai multe sarcini
  • Rulează modele (dbt run)
  • Execută validări prin teste (dbt test)
  • Procesează seeds (dbt seed)
  • Alte opțiuni disponibile (dbt snapshot)
  • NU execută operațiuni dbt docs

Comenzile pot fi rulate individual

Construcție

1 Photo by Randy Fath on Unsplash
dbt intermediar

dbt build - de ce?

  • Subcomenzile individuale funcționează bine, dar nu gestionează toate problemele potențiale
    • dbt run nu validează în prealabil (adică nu rulează teste)
    • dbt seed poate fi incomplet pentru anumite interogări
  • dbt build determină dependențele și rulează toate testele înainte de modificările în producție
  • dbt build poate fi excesiv pentru testări simple sau modificări incrementale minore
  • Pașii pot fi rulați manual dacă este necesar
dbt intermediar

Opțiuni dbt build

  • dbt build --select <object>
  • dbt build -d
  • dbt build --exclude <object>
dbt intermediar

Să exersăm!

dbt intermediar

Preparing Video For Download...