Implementarea îmbunătățirilor de performanță

Transformă și analizează date cu Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Strategii de optimizare

  • Optimizați designul elementelor Fabric
  • Scalare verticală
  • Scalare orizontală
Transformă și analizează date cu Microsoft Fabric

Optimizarea SQL

  • Limitați interogările la coloanele și operațiunile necesare

Exemplu de instrucțiune SQL SELECT redusă de la selectarea tuturor coloanelor la selectarea doar a anumitor coloane

Transformă și analizează date cu Microsoft Fabric

Optimizarea SQL

  • Limitați interogările la coloanele și operațiunile necesare
  • Utilizați cele mai mici tipuri de date posibile

Exemplu de instrucțiune CREATE TABLE în care tipul de date al unei coloane numerice este schimbat din BIGINT în INT

Transformă și analizează date cu Microsoft Fabric

Optimizarea SQL

  • Limitați interogările la coloanele și operațiunile necesare
  • Utilizați cele mai mici tipuri de date posibile
  • Utilizați modelul star schema

Diagramă a unui star schema cu un tabel de fapte și tabele de dimensiuni asociate

Transformă și analizează date cu Microsoft Fabric

Optimizarea SQL

  • Limitați interogările la coloanele și operațiunile necesare
  • Utilizați cele mai mici tipuri de date posibile
  • Utilizați modelul star schema
  • Utilizați vizualizările de sistem pentru a monitoriza utilizarea interogărilor
SELECT *
FROM sys.dm_exec_requests;
Transformă și analizează date cu Microsoft Fabric

Optimizarea notebook-urilor

  • Utilizați Spark History Server

Captură de ecran a paginii web Spark UI

Transformă și analizează date cu Microsoft Fabric

Optimizarea notebook-urilor

  • Utilizați Spark History Server
  • Opriți sesiunile Spark active când nu sunt utilizate
Transformă și analizează date cu Microsoft Fabric

Optimizarea notebook-urilor

  • Utilizați Spark History Server
  • Opriți sesiunile Spark active când nu sunt utilizate
  • La îmbinarea datelor, reduceți volumul din memorie înainte de executarea join-ului
Transformă și analizează date cu Microsoft Fabric

Optimizarea fluxurilor de date

  • Minimizați operațiunile costisitoare, cum ar fi sortarea

Exemplu de flux de date în care operațiunea de sortare este eliminată dacă nu este necesară

Transformă și analizează date cu Microsoft Fabric

Optimizarea fluxurilor de date

  • Minimizați operațiunile costisitoare, cum ar fi sortarea
  • Plierea interogărilor (Query folding)
    • Delegați procesarea către sursa de date

Exemplu de pas dintr-un flux de date. Fără query folding, evaluarea are loc în afara sursei de date. Cu query folding, operațiunea este evaluată de sursa de date

Transformă și analizează date cu Microsoft Fabric

Optimizarea fluxurilor de date

  • Minimizați operațiunile costisitoare, cum ar fi sortarea
  • Plierea interogărilor (Query folding)
    • Delegați procesarea către sursa de date
  • Staging activat/dezactivat
    • Dezactivați pentru încărcări mici sau transformări simple
    • Activați pentru încărcări mari sau transformări complexe

Captură de ecran cu opțiunea Enable Staging într-o interogare de flux de date

Transformă și analizează date cu Microsoft Fabric

Scalare verticală

  • Creșteți dimensiunea SKU
  • SKU mai mare = capacitate de calcul mai mare

Tabel cu SKU-urile Azure Fabric disponibile, de la cel mai mic F2 la cel mai mare F2048 v

Transformă și analizează date cu Microsoft Fabric

Scalare verticală

Ilustrație a scalării verticale a unei capacități Fabric prin creșterea numărului de v-core-uri

Exemplu: Scalare de la F64 (8 v-core-uri) la F128 (16 v-core-uri)

Transformă și analizează date cu Microsoft Fabric

Scalare orizontală

  • Mutați unele elemente pe o altă capacitate Fabric.
  • Izolați sarcinile de lucru
    • Producție vs. non-producție
    • Zone diferite ale organizației, de exemplu o capacitate separată pentru raportări executive
Transformă și analizează date cu Microsoft Fabric

Scalare orizontală

Ilustrație a scalării orizontale a unei capacități Fabric prin adăugarea unei a doua capacități și mutarea unei sarcini de lucru pe aceasta

Transformă și analizează date cu Microsoft Fabric

Să exersăm!

Transformă și analizează date cu Microsoft Fabric

Preparing Video For Download...