Membuat proyek dbt

Pengantar dbt

Mike Metzger

Data Engineer

Apa itu proyek dbt

  • Mencakup komponen untuk bekerja dengan data di dbt

    • Konfigurasi proyek
    • Sumber & tujuan data
    • Kueri SQL
    • Template
    • Dokumentasi

  • Diimplementasikan sebagai struktur folder

struktur folder dbt

Pengantar dbt

Cara membuat proyek baru

  • Gunakan perintah dbt init
    • Menanyakan nama proyek
    • Menanyakan jenis database / gudang data
  • Dapat dipersingkat dengan dbt init <projectname>
  • Membuat folder proyek tingkat atas dan seluruh strukturnya
repl:~/workspace$ dbt init
16:38:37  Running with dbt=1.8.4
Enter a name for your project (letters, digits, underscore): test_project
Which database would you like to use? [1] duckdb
Enter a number: 1
...
Pengantar dbt

Mendefinisikan konfigurasi dengan profil proyek

  • Profil mewakili skenario deployment tertentu
    • Development
    • Staging / Test
    • Production
  • Satu proyek dbt dapat memiliki banyak profil
  • Didefinisikan di berkas profiles.yml
marketing_campaign_results:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
    prod:
      type: snowflake
      ...
  target: dev
Pengantar dbt

YAML

  • Yet Another Markup Language
  • Berkas teks, tetapi spasi penting (seperti Python)
  • Dipakai luas untuk konfigurasi dalam pengembangan
  • Aturannya bisa rumit; utamanya jaga perataan seperti contoh
marketing_campaign_results:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
    prod:
      type: snowflake
      ...
  target: dev
Pengantar dbt

DuckDB

  • Database serverless open-source
    • Mirip sqlite
  • Dirancang untuk analitik
  • Tervektorisasi (sangat CEPAT)
  • Mudah digunakan

logo duckdb

Pengantar dbt

Ayo berlatih!

Pengantar dbt

Preparing Video For Download...