Vytvoření dbt projektu

Úvod do dbt

Mike Metzger

Data Engineer

Co je dbt projekt

  • Zahrnuje komponenty pro práci s daty v dbt

    • Konfigurace projektu
    • Zdroje a cíle dat
    • SQL dotazy
    • Šablony
    • Dokumentace

  • Implementováno jako struktura složek

struktura složek dbt

Úvod do dbt

Jak vytvořit nový projekt

  • Použijte příkaz dbt init
    • Zeptá se na název projektu
    • Zeptá se na typ databáze / datového skladu
  • Lze zkrátit pomocí dbt init <projectname>
  • Vytvoří kořenovou složku projektu a celou potřebnou strukturu
repl:~/workspace$ dbt init
16:38:37  Running with dbt=1.8.4
Enter a name for your project (letters, digits, underscore): test_project
Which database would you like to use? [1] duckdb
Enter a number: 1
...
Úvod do dbt

Definování konfigurace pomocí profilů projektu

  • Profil představuje daný scénář nasazení
    • Vývoj
    • Staging / Test
    • Produkce
  • Dbt projekt může mít více profilů
  • Definováno v souboru profiles.yml
marketing_campaign_results:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
    prod:
      type: snowflake
      ...
  target: dev
Úvod do dbt

YAML

  • Yet Another Markup Language
  • Textový soubor, kde záleží na odsazení (jako Python)
  • Používá se pro konfiguraci v mnoha vývojových scénářích
  • Pravidla mohou být složitá – hlavně dodržujte zarovnání jako v příkladech
marketing_campaign_results:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
    prod:
      type: snowflake
      ...
  target: dev
Úvod do dbt

DuckDB

  • Open-source bezserverová databáze
    • Podobná sqlite
  • Navržena pro analytiku
  • Vektorizovaná (tedy RYCHLÁ)
  • Snadné použití

logo DuckDB

Úvod do dbt

Pojďme si procvičit!

Úvod do dbt

Preparing Video For Download...