Nạp dữ liệu

Thiết kế Pipeline Dự báo cho Môi trường Production

Rami Krispin

Senior Manager, Data Science and Engineering

Quy trình ETL

Quy trình ETL - nguồn

Quy trình nạp dữ liệu

Quy trình ETL - trích xuất

Quy trình nạp dữ liệu

Quy trình ETL - chuyển đổi

Quy trình nạp dữ liệu

Quy trình ETL - tải

Quy trình nạp dữ liệu

Quy trình ETL - xác thực dữ liệu

Quy trình nạp dữ liệu

Quy trình ETL - toàn vẹn dữ liệu

Quy trình nạp dữ liệu

Quy trình ETL - ghi nhật ký

Quy trình nạp dữ liệu

Quy trình ETL - làm mới

Quy trình nạp dữ liệu

Quy trình ETL - làm mới

Quy trình nạp dữ liệu

Quy trình ETL - làm mới

Quy trình nạp dữ liệu

Quy trình ETL - làm mới

Quy trình nạp dữ liệu

Quy trình ETL - kích hoạt pipeline mới

Quy trình nạp dữ liệu

Quy trình ETL - cập nhật dữ liệu chuẩn hoá

Quy trình nạp dữ liệu

Quy trình ETL - kiểm tra tương đồng dữ liệu

Tác vụ kiểm tra API

Quy trình ETL - siêu dữ liệu

Tác vụ trạng thái dữ liệu

Quy trình ETL - làm mới dữ liệu

Tác vụ làm mới dữ liệu

Quy trình ETL - xác thực dữ liệu

Tác vụ xác thực dữ liệu

Quy trình ETL - phân tích dữ liệu

Phân tích tác vụ xác thực dữ liệu

Quy trình ETL - nối thêm dữ liệu

Tác vụ nối thêm dữ liệu

Quy trình ETL - làm mới dự báo

Tác vụ làm mới dự báo

Quy trình ETL - đánh giá dự báo

Tác vụ chấm điểm dự báo

Quy trình ETL - không cập nhật

Tác vụ xác thực

Quy trình ETL - lỗi làm mới

Tác vụ xác thực

Quy trình ETL - lỗi xác thực

Tác vụ xác thực

Kiểm tra xác thực dữ liệu

Lược đồ dữ liệu
Phạm vi giá trị
Giá trị khuyết
Trùng lặp
Logic nghiệp vụ

Kiểm tra xác thực dữ liệu

print(raw)

period    respondent    respondent-name    type    type-name    value    value-units
0    2025-05-01 00:00:00    US48    United States Lower 48    D    Demand    504242    
1    2025-04-30 23:00:00    US48    United States Lower 48    D    Demand    508099    
2    2025-04-30 22:00:00    US48    United States Lower 48    D    Demand    508323    
3    2025-04-30 21:00:00    US48    United States Lower 48    D    Demand    500551    
4    2025-04-30 20:00:00    US48    United States Lower 48    D    Demand    492240

Kiểm tra xác thực dữ liệu

import pointblank as pb

table_schema =  pb.Schema(
    columns=[
        ("index", "datetime64[ns]"),   
        ("respondent", "object"),
        ("respondent-name", "object"),
        ("type", "object"),
        ("type-name", "object"),
        ("value", "int64"),
        ("value-units", "object")
    ]
    )

Kiểm tra xác thực dữ liệu

validation = (pb.Validate(data=raw,
              tbl_name="US48 Data Validation",
              label="Data Refresh",
              thresholds=pb.Thresholds(warning=0.2, error=0, critical=0.1))

.col_schema_match(schema=table_schema)

.col_vals_gt(columns="value", value=0)

.col_vals_in_set(columns="respondent", set = ["US48"])
.col_vals_in_set(columns="type", set = ["D"])

.col_vals_not_null(columns=["period", "value"])

.rows_distinct()

.interrogate())

Kiểm tra xác thực dữ liệu

Xác thực dữ liệu

Kiểm tra xác thực dữ liệu

print(validation.all_passed())

True

Ayo berlatih!

Thiết kế Pipeline Dự báo cho Môi trường Production