Créer des descriptions et des tests dbt

Étude de cas : créer des modèles de données e-commerce avec dbt

Susan Sun

Freelance Data Scientist

docs : descriptions personnalisées dbt

Descriptions personnalisées dans des fichiers yaml
Servent à documenter : dbt models, sources, seeds, data tests, etc.
Convention de nommage :
```
_<data source>__<asset>.yml
```

À stocker dans le même répertoire que les assets

looker_ecommerce/
  macros/
  models/
    _looker__models.yml     <------ 
    _looker__sources.yml    <------
    stg_looker__distribution_center.sql
    stg_looker__orders.sql
  seeds/
    looker__distribution_center.csv

docs : yaml de modèle dbt

Exemple de _looker__models.yml :

version: 2

models:
  - name: model_name
    description: This is a table
    columns:
      - name: column_name
        description: This is a column
      - name: column_name
        description: This is a column

Remarque :

version: 2 est le format de configuration de schéma utilisé par dbt
models définit quel asset est documenté ici
2 espaces avant le nom de la table
4 espaces avant le nom de la colonne

Tests de données dbt : not_null et unique

Quatre tests de données par défaut dans des fichiers yaml :
- unique
- not_null
- accepted_values
- relationship

1.unique : chaque valeur de ligne est unique

- name: table_name
  columns: 
    - name: column_name
      data_tests:
        - not_null
    ...

2.not_null : aucune ligne ne peut avoir une valeur nulle

- name: table_name
  columns: 
    - name: column_name
      data_tests:
        - unique
        - not_null
    - name: column_name
      data_tests:
        - unique

Tests de données dbt : accepted_values

3.accepted_values : seules les valeurs de la liste sont acceptées

- name: table_name
  columns: 
    - name: column_name
      data_tests:
        - accepted_values:
            values: ['value_a', 'value_b', 'value_c', NULL]

Tests de données dbt : relationships

4.relationships : intégrité référentielle (clé étrangère) entre tables

- name: table_1
  columns: 
    - name: column_1
      data_tests:
        - relationships:
            to: ref('table_2')
            field: column_2

Passons à la pratique !

Étude de cas : créer des modèles de données e-commerce avec dbt