Automatiser avec dbt build

dbt intermédiaire

Mike Metzger

Data Engineer

Révision

  • sources et seeds fournissent les données initiales à dbt
  • Les models assurent la transformation des données (souvent depuis sources / seeds) pour les utilisations en aval
  • Les tests peuvent valider sources, seeds, models
    • Intégrés (unique, not_null, relation, accepted_values)
    • Singuliers
    • Génériques / réutilisables
  • dbt build exécute toutes ces tâches, généralement en production
dbt intermédiaire

dbt build

dbt build :

  • Regroupe plusieurs tâches
  • Exécute les modèles (dbt run)
  • Lance les validations via les tests (dbt test)
  • Traite les seeds (dbt seed)
  • Autres options possibles (dbt snapshot)
  • N'effectue PAS les opérations dbt docs

Les commandes peuvent être lancées individuellement

Construction

1 Photo par Randy Fath sur Unsplash
dbt intermédiaire

dbt build : pourquoi ?

  • Les sous-commandes seules fonctionnent bien, mais ne couvrent pas tous les cas
    • dbt run ne valide pas d'abord (aucun test n'est exécuté)
    • dbt seed peut être incomplet pour certaines requêtes
  • dbt build détermine les dépendances et exécute tous les tests avant les changements en production
  • dbt build peut être excessif si vous ne faites que tester ou appliquer de petits changements incrémentiels
  • Au besoin, exécutez plutôt les étapes manuellement
dbt intermédiaire

Options de dbt build

  • dbt build --select <object>
  • dbt build -d
  • dbt build --exclude <object>
dbt intermédiaire

Passons à la pratique !

dbt intermédiaire

Preparing Video For Download...