Tự động hóa với dbt build

dbt trung cấp

Mike Metzger

Data Engineer

Ôn tập

  • sources và seeds cung cấp dữ liệu đầu vào cho dbt
  • models chuyển đổi dữ liệu (thường từ sources / seeds) cho người dùng hạ nguồn
  • tests có thể kiểm định sources, seeds, models
    • Tích hợp sẵn (unique, not_null, relation, accepted_values)
    • Đơn lẻ
    • Tổng quát / Tái sử dụng
  • dbt build thực hiện tất cả các tác vụ này, thường dùng trong sản xuất
dbt trung cấp

dbt build

dbt build:

  • Kết hợp nhiều tác vụ
  • Chạy models (dbt run)
  • Chạy kiểm định qua tests (dbt test)
  • Xử lý seeds (dbt seed)
  • Có tùy chọn khác (dbt snapshot)
  • KHÔNG thực hiện thao tác dbt docs

Có thể chạy lệnh riêng lẻ

Xây dựng

1 Ảnh bởi Randy Fath trên Unsplash
dbt trung cấp

dbt build - tại sao?

  • Các lệnh con riêng lẻ hoạt động tốt nhưng không xử lý mọi vấn đề tiềm ẩn
    • dbt run không kiểm định trước (không chạy tests)
    • dbt seed có thể chưa đủ cho một số truy vấn
  • dbt build xác định phụ thuộc và chạy tất cả tests trước khi thay đổi môi trường sản xuất
  • dbt build có thể quá mức nếu chỉ kiểm thử hoặc thay đổi nhỏ dạng incremental
  • Có thể chạy thủ công từng bước khi cần
dbt trung cấp

Tùy chọn dbt build

  • dbt build --select <object>
  • dbt build -d
  • dbt build --exclude <object>
dbt trung cấp

Ayo berlatih!

dbt trung cấp

Preparing Video For Download...