dbt build로 자동화하기

중급 dbt

Mike Metzger

Data Engineer

복습

  • sources와 seeds는 dbt에 초기 데이터를 제공합니다
  • models는 다운스트림 사용자를 위해 데이터를 변환합니다(보통 sources/seeds 기반)
  • tests는 sources, seeds, models를 검증할 수 있습니다
    • 기본 제공(unique, not_null, relation, accepted_values)
    • 단일
    • 일반/재사용 가능
  • dbt build는 보통 프로덕션에서 위 작업을 모두 수행합니다
중급 dbt

dbt build

dbt build:

  • 여러 작업의 조합
  • 모델 실행(dbt run)
  • 테스트로 검증 실행(dbt test)
  • seed 처리(dbt seed)
  • 기타 옵션 사용 가능(dbt snapshot)
  • dbt docs 작업은 수행하지 않습니다

명령은 개별로도 실행 가능합니다

빌드 중

1 Photo by Randy Fath on Unsplash
중급 dbt

dbt build - 왜 사용할까?

  • 개별 하위 명령은 유용하지만 모든 문제를 다루지 못합니다
    • dbt run은 먼저 검증하지 않습니다(테스트 미실행)
    • dbt seed는 일부 쿼리에 불완전할 수 있습니다
  • dbt build는 의존성을 파악하고 프로덕션 변경 전 모든 테스트를 실행합니다
  • 단순 테스트나 소규모 증분 변경만 있을 때는 과할 수 있습니다
  • 필요 시 단계별로 수동 실행할 수 있습니다
중급 dbt

dbt build 옵션

  • dbt build --select <object>
  • dbt build -d
  • dbt build --exclude <object>
중급 dbt

연습해 봅시다!

중급 dbt

Preparing Video For Download...