Automatyzacja za pomocą dbt build

dbt średnio zaawansowany

Mike Metzger

Data Engineer

Powtórzenie

  • sources i seeds dostarczają dane wejściowe do dbt
  • models przekształcają dane (zazwyczaj z sources / seeds) dla użytkowników końcowych
  • tests mogą walidować sources, seeds, models
    • Wbudowane (unique, not_null, relation, accepted_values)
    • Jednostkowe
    • Ogólne / wielokrotnego użytku
  • dbt build wykonuje wszystkie te zadania, zazwyczaj na produkcji
dbt średnio zaawansowany

dbt build

dbt build:

  • Łączy wiele zadań
  • Uruchamia modele (dbt run)
  • Przeprowadza walidację przez testy (dbt test)
  • Przetwarza seeds (dbt seed)
  • Inne opcje (dbt snapshot)
  • NIE wykonuje operacji dbt docs

Polecenia można uruchamiać osobno

Budowanie

1 Photo by Randy Fath on Unsplash
dbt średnio zaawansowany

dbt build – dlaczego?

  • Pojedyncze podpolecenia sprawdzają się dobrze, ale nie obsługują wszystkich problemów
    • dbt run nie przeprowadza wcześniej walidacji (tzn. nie uruchamia testów)
    • dbt seed może być niekompletny dla niektórych zapytań
  • dbt build określa zależności i uruchamia wszystkie testy przed zmianami produkcyjnymi
  • dbt build może być zbędny przy samym testowaniu lub małych zmianach przyrostowych
  • W razie potrzeby kroki można wykonać ręcznie
dbt średnio zaawansowany

Opcje dbt build

  • dbt build --select <object>
  • dbt build -d
  • dbt build --exclude <object>
dbt średnio zaawansowany

Czas na ćwiczenia!

dbt średnio zaawansowany

Preparing Video For Download...