Triển khai cải thiện hiệu năng

Biến đổi và Phân tích Dữ liệu với Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Chiến lược tối ưu hóa

  • Tối ưu thiết kế các mục Fabric
  • Scale up
  • Scale out
Biến đổi và Phân tích Dữ liệu với Microsoft Fabric

Tối ưu SQL

  • Giới hạn truy vấn chỉ lấy cột và thao tác cần thiết

Ví dụ câu lệnh SQL SELECT rút gọn từ chọn tất cả cột sang chỉ chọn cột cụ thể

Biến đổi và Phân tích Dữ liệu với Microsoft Fabric

Tối ưu SQL

  • Giới hạn truy vấn chỉ lấy cột và thao tác cần thiết
  • Dùng kiểu dữ liệu nhỏ nhất có thể

Ví dụ câu lệnh CREATE TABLE nơi kiểu dữ liệu của cột số được đổi từ BIGINT sang INT

Biến đổi và Phân tích Dữ liệu với Microsoft Fabric

Tối ưu SQL

  • Giới hạn truy vấn chỉ lấy cột và thao tác cần thiết
  • Dùng kiểu dữ liệu nhỏ nhất có thể
  • Dùng thiết kế lược đồ sao (star schema)

Sơ đồ lược đồ sao với bảng fact và các bảng dimension liên quan

Biến đổi và Phân tích Dữ liệu với Microsoft Fabric

Tối ưu SQL

  • Giới hạn truy vấn chỉ lấy cột và thao tác cần thiết
  • Dùng kiểu dữ liệu nhỏ nhất có thể
  • Dùng thiết kế lược đồ sao (star schema)
  • Dùng system views để theo dõi việc dùng truy vấn
SELECT *
FROM sys.dm_exec_requests;
Biến đổi và Phân tích Dữ liệu với Microsoft Fabric

Tối ưu Notebook

  • Tận dụng Spark History Server

Ảnh chụp trang web Spark UI

Biến đổi và Phân tích Dữ liệu với Microsoft Fabric

Tối ưu Notebook

  • Tận dụng Spark History Server
  • Dừng phiên Spark khi không dùng
Biến đổi và Phân tích Dữ liệu với Microsoft Fabric

Tối ưu Notebook

  • Tận dụng Spark History Server
  • Dừng phiên Spark khi không dùng
  • Khi join dữ liệu, giảm dữ liệu trong bộ nhớ trước khi thực hiện join
Biến đổi và Phân tích Dữ liệu với Microsoft Fabric

Tối ưu dataflow

  • Giảm thiểu thao tác tốn kém như sắp xếp

Luồng dữ liệu mẫu nơi bỏ thao tác sắp xếp nếu không cần thiết

Biến đổi và Phân tích Dữ liệu với Microsoft Fabric

Tối ưu dataflow

  • Giảm thiểu thao tác tốn kém như sắp xếp
  • Query folding
    • Đẩy xử lý về nguồn dữ liệu

Bước dataflow mẫu. Khi không có query folding, đánh giá bước diễn ra ngoài nguồn dữ liệu. Khi có query folding, thao tác được nguồn dữ liệu xử lý

Biến đổi và Phân tích Dữ liệu với Microsoft Fabric

Tối ưu dataflow

  • Giảm thiểu thao tác tốn kém như sắp xếp
  • Query folding
    • Đẩy xử lý về nguồn dữ liệu
  • Bật/Tắt Staging
    • Tắt cho tải nhỏ hoặc biến đổi đơn giản
    • Bật cho tải lớn hoặc biến đổi phức tạp

Ảnh chụp tùy chọn Enable Staging trong truy vấn dataflow

Biến đổi và Phân tích Dữ liệu với Microsoft Fabric

Scale Up

  • Tăng kích thước SKU
  • SKU cao hơn = nhiều tài nguyên tính toán hơn

Bảng liệt kê các SKU Azure Fabric, từ nhỏ nhất F2 đến lớn nhất F2048 v

Biến đổi và Phân tích Dữ liệu với Microsoft Fabric

Scale Up

Minh họa scale up dung lượng Fabric bằng cách tăng số v-core

Ví dụ: Scale up từ F64 (8 v-core) lên F128 (16 v-core)

Biến đổi và Phân tích Dữ liệu với Microsoft Fabric

Scale Out

  • Chuyển một số mục sang dung lượng Fabric khác.
  • Cô lập khối lượng công việc
    • Sản xuất vs phi sản xuất
    • Các mảng kinh doanh khác nhau, ví dụ dung lượng riêng cho báo cáo điều hành
Biến đổi và Phân tích Dữ liệu với Microsoft Fabric

Scale Out

Minh họa scale out dung lượng Fabric bằng cách thêm dung lượng thứ hai và chuyển một workload sang đó

Biến đổi và Phân tích Dữ liệu với Microsoft Fabric

Ayo berlatih!

Biến đổi và Phân tích Dữ liệu với Microsoft Fabric

Preparing Video For Download...