dbt seeds

Intermediate dbt

Mike Metzger

Data Engineer

Vad är dbt seeds?

CSV-filer som läses in i datalagret
Vanligtvis data som sällan ändras
- Lista över länder
- Lista över postnummer
INTE avsedd för rådata

Seeds

¹ Foto av Maddi Bazzocco på Unsplash

Varför?

Enkla att hantera
Enkla att använda i olika sammanhang
Versionshanterbara

Hur definieras seeds?

Lägg till en CSV-fil i katalogen seeds
Kontrollera att rubriken finns på första raden
Importera med kommandot dbt seed

zipcode,place,state
99553,Akutan,Alaska
99571,Cold Bay,Alaska
99583,False Pass,Alaska

bash> dbt seed

¹ Postnummer tillhandahålls via https://github.com/zauberware/postal-codes-json-xml-csv

Ytterligare konfiguration

Flera alternativ
- Vilket schema?
- Vilken databas?
- Kolumncitat
- Kolumndatatyper
Kan tillämpas på hela projektet eller på enskilda seeds
Kan läggas till i dbt_project.yml eller seeds/properties.yml

Definiera datatyper

Tillgängliga datatyper beror på datalagret
Vanliga typer stöds
- Integer
- Varchar
- osv.
Om ingen typ anges härleds den från datan

version: 2

seeds:
  - name: zipcodes
    config:
      column_types:
        zipcode: varchar(5)

Test

Stöder tester
Precis som modeller och källor

version: 2

seeds:
  - name: zipcodes
    config:
      column_types:
        zipcode: varchar(5)
    columns:
      - name: zipcode
        tests:
          - unique

Använda seeds

Tillgänglig via kommandot {{ ref() }}
Fungerar som en modell efter den första importen

select * from
  {{ ref('zipcodes') }}

Nu kör vi en övning!

Intermediate dbt