Creare test riutilizzabili personalizzati

dbt intermedio

Mike Metzger

Data Engineer

Cos'è un test riutilizzabile?

Un test riutilizzabile in più situazioni
Come un test dbt integrato, ma può verificare qualsiasi condizione
Usa i template Jinja
Salvato come file .sql nella cartella di progetto tests/generic
Devi aggiungerlo a model_properties.yml per ogni modello che lo usa

Riutilizzabile

¹ Foto di Sigmund su Unsplash

Creare un test riutilizzabile

{% test check_gt_0(model, column_name) %}

select * 
from {{ model }}
where {{ column_name }} > 0

{% endtest %}

Prima riga (almeno): {% test testname(model, column_name) %}
Aggiungi la query SQL, con sostituzioni {{ object }}
Chiudi con {% endtest %}

Applicare il test al modello

Aggiungi in model_properties.yml
Definisci gli oggetti necessari
models: il valore name è l'argomento model
columns: l'argomento name è l'argomento column_name

version: 2

models:
  - name: taxi_rides_raw
    columns:
      - name: tpep_pickup_datetime
        tests:
          - not_null

      - name: total_fare
        tests:
          - check_gt_0

Parametri extra

Puoi aggiungere parametri extra al test
Simile a accepted_values e relationships
Aggiungili come argomenti nell'intestazione Jinja

{% test check_columns_unequal(model, column_name, column_name2) %}

select * from {{ model }}
where {{ column_name }} = {{ column_name2 }}

{% endtest %}

Applicare test con parametri extra

Definisci come gli altri test
Aggiungi gli argomenti extra sotto i dettagli del test

models:
  - name: order
    columns:
      - name: order_time
        tests:
          - check_columns_unequal:
              column_name2: shipped_time

Andiamo a fare pratica!

dbt intermedio