Створення проєкту dbt

Вступ до dbt

Mike Metzger

Data Engineer

Що таке проєкт dbt

  • Охоплює компоненти для роботи з даними в dbt

    • Конфігурація проєкту
    • Джерела та призначення даних
    • SQL-запити
    • Шаблони
    • Документація

  • Реалізовано як структура тек

структура тек dbt

Вступ до dbt

Як створити новий проєкт

  • Використайте команду dbt init
    • Запитає назву проєкту
    • Запитає тип бази даних / «data warehouse»
  • Можна скоротити: dbt init <projectname>
  • Створює кореневу теку проєкту та всю потрібну структуру
repl:~/workspace$ dbt init
16:38:37  Running with dbt=1.8.4
Enter a name for your project (letters, digits, underscore): test_project
Which database would you like to use? [1] duckdb
Enter a number: 1
...
Вступ до dbt

Налаштування через профілі проєкту

  • Профіль описує певний сценарій розгортання
    • Розробка
    • Staging / тест
    • Продуктивне середовище
  • Один проєкт dbt може мати кілька профілів
  • Визначаються у файлі profiles.yml
marketing_campaign_results:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
    prod:
      type: snowflake
      ...
  target: dev
Вступ до dbt

YAML

  • Yet Another Markup Language
  • Текстовий файл, але відступи мають значення (як у Python)
  • Використовується для конфігурацій у різних сценаріях розробки
  • Правила підступні: тримайте записи вирівняними, як у прикладах
marketing_campaign_results:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
    prod:
      type: snowflake
      ...
  target: dev
Вступ до dbt

DuckDB

  • Відкрита серверлес-база даних
    • Подібна до sqlite
  • Створена для аналітики
  • Векторизована (тобто ШВИДКА)
  • Проста у користуванні

логотип DuckDB

Вступ до dbt

Давайте потренуємось!

Вступ до dbt

Preparing Video For Download...