Tích hợp dữ liệu

Thiết kế cơ sở dữ liệu

Lis Sulmont

Curriculum Manager

Tích hợp dữ liệu là gì

Tích hợp dữ liệu kết hợp dữ liệu từ nhiều nguồn, định dạng, công nghệ để cung cấp cho người dùng một góc nhìn thống nhất và được chuyển đổi của dữ liệu đó.

Ví dụ bài toán kinh doanh

Góc nhìn 360° về khách hàng
Mua lại
Hệ thống cũ (legacy)

Mô hình dữ liệu thống nhất

Biểu tượng cơ sở dữ liệu đại diện cho mô hình dữ liệu thống nhất

Nguồn dữ liệu

Ba nguồn dữ liệu chưa kết nối với mô hình dữ liệu thống nhất

Định dạng nguồn dữ liệu

Ba nguồn dữ liệu chưa kết nối với mô hình dữ liệu thống nhất và có định dạng khác nhau

Định dạng mô hình dữ liệu thống nhất

Ba nguồn dữ liệu với định dạng khác nhau, chưa kết nối với mô hình dữ liệu thống nhất là kho dữ liệu Redshift

Ví dụ: DataCamp

Ba nguồn dữ liệu với định dạng khác nhau và từ các bộ phận khác nhau, chưa kết nối với mô hình dữ liệu thống nhất là kho dữ liệu Redshift

Tần suất cập nhật - bán hàng

Ba nguồn dữ liệu cập nhật hằng ngày

Tần suất cập nhật - lưu lượng hàng không

Ba nguồn dữ liệu cập nhật theo thời gian thực

Tần suất cập nhật khác nhau

Ba nguồn dữ liệu cập nhật vào các thời điểm khác nhau

Đơn giản vậy sao?

Ba nguồn dữ liệu kết nối với mô hình dữ liệu thống nhất

Không hẳn

Ba nguồn dữ liệu cập nhật hằng ngày với dấu X lớn phủ lên

Biến đổi dữ liệu

Ba nguồn dữ liệu được biến đổi để khớp mô hình dữ liệu thống nhất

Biến đổi - công cụ

Xử lý ba nguồn dữ liệu qua ETL vào mô hình dữ liệu thống nhất

Chọn công cụ tích hợp dữ liệu

Linh hoạt
Tin cậy
Mở rộng tốt

Kiểm thử tự động và cảnh báo chủ động

Sơ đồ ETL với biểu tượng kiểm thử ở mỗi giai đoạn

Bảo mật

Sơ đồ ETL hiển thị phần dữ liệu cần hạn chế từ nguồn đến đích

Bảo mật - ẩn danh thẻ tín dụng

Sơ đồ ETL với ẩn danh hóa dữ liệu thẻ tín dụng

Quản trị dữ liệu - nguồn gốc (lineage)

Sơ đồ ETL với một đường thể hiện luồng dữ liệu từ nguồn đến đích

Ayo berlatih!

Thiết kế cơ sở dữ liệu