Wdrażanie ulepszeń wydajności

Przekształcanie i analizowanie danych w Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Strategie optymalizacji

Optymalizacja projektu elementów Fabric
Skalowanie w górę
Skalowanie w poziomie

Optymalizacja SQL

Ograniczenie zapytań do niezbędnych kolumn i operacji

Przykładowe zapytanie SQL SELECT zredukowane z wyboru wszystkich kolumn do wyboru tylko określonych kolumn

Optymalizacja SQL

Ograniczenie zapytań do niezbędnych kolumn i operacji
Używanie możliwie najmniejszych typów danych

Przykładowa instrukcja CREATE TABLE, w której typ danych kolumny liczbowej zmieniono z BIGINT na INT

Optymalizacja SQL

Ograniczenie zapytań do niezbędnych kolumn i operacji
Używanie możliwie najmniejszych typów danych
Stosowanie schematu gwiazdy

Optymalizacja SQL

Ograniczenie zapytań do niezbędnych kolumn i operacji
Używanie możliwie najmniejszych typów danych
Stosowanie schematu gwiazdy
Używanie widoków systemowych do monitorowania zapytań

SELECT *
FROM sys.dm_exec_requests;

Optymalizacja notebooków

Używanie Spark History Server

Zrzut ekranu strony internetowej Spark UI

Optymalizacja notebooków

Używanie Spark History Server
Zatrzymywanie aktywnych sesji Spark, gdy nie są używane

Optymalizacja notebooków

Używanie Spark History Server
Zatrzymywanie aktywnych sesji Spark, gdy nie są używane
Przed złączeniem danych — redukcja ilości danych w pamięci

Optymalizacja przepływów danych

Minimalizowanie kosztownych operacji, np. sortowania

Przykładowy przepływ danych, w którym operacja sortowania jest pomijana, gdy nie jest wymagana

Optymalizacja przepływów danych

Minimalizowanie kosztownych operacji, np. sortowania
Składanie zapytań (Query folding)
- Przenoszenie przetwarzania do źródła danych

Przykładowy krok przepływu danych. Bez składania zapytań ewaluacja odbywa się poza źródłem danych. Przy składaniu zapytań operację ocenia źródło danych

Optymalizacja przepływów danych

Minimalizowanie kosztownych operacji, np. sortowania
Składanie zapytań (Query folding)
- Przenoszenie przetwarzania do źródła danych
Staging Wł./Wył.
- Wyłącz przy małych ładunkach lub prostych transformacjach
- Włącz przy dużych ładunkach lub złożonych transformacjach

Zrzut ekranu przedstawiający opcję Włącz przemieszczanie w zapytaniu przepływu danych

Skalowanie w górę

Zwiększenie rozmiaru SKU
Wyższy SKU = większa wydajność obliczeniowa

Tabela z dostępnymi jednostkami SKU platformy Fabric na platformie Azure — od najmniejszej F2 do największej F2048 v

Skalowanie w górę

Przykładowa ilustracja skalowania pojemności Fabric w górę przez zwiększenie liczby rdzeni v-core

Przykład: skalowanie w górę z F64 (8 rdzeni v-core) do F128 (16 rdzeni v-core)

Skalowanie w poziomie

Przenoszenie niektórych elementów do innej pojemności Fabric.
Izolowanie obciążeń
- Produkcja a środowiska nieprodukcyjne
- Różne obszary biznesowe, np. osobna pojemność dla raportowania kadry zarządzającej

Skalowanie w poziomie

Przykładowa ilustracja skalowania pojemności Fabric w poziomie przez dodanie drugiej pojemności i przeniesienie do niej obciążenia

Czas na ćwiczenia!

Przekształcanie i analizowanie danych w Microsoft Fabric