Voer prestatieverbeteringen door

Gegevens transformeren en analyseren met Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Optimalisatiestrategieën

  • Optimaliseer het ontwerp van Fabric-items
  • Schaal omhoog
  • Schaal uit
Gegevens transformeren en analyseren met Microsoft Fabric

SQL optimaliseren

  • Beperk queries tot alleen benodigde kolommen/bewerkingen

Voorbeeld SQL‑SELECT waarin niet meer alle kolommen, maar alleen specifieke kolommen worden gekozen

Gegevens transformeren en analyseren met Microsoft Fabric

SQL optimaliseren

  • Beperk queries tot alleen benodigde kolommen/bewerkingen
  • Gebruik de kleinste mogelijke datatypes

Voorbeeld CREATE TABLE waarin het datatype van een numerieke kolom wijzigt van BIGINT naar INT

Gegevens transformeren en analyseren met Microsoft Fabric

SQL optimaliseren

  • Beperk queries tot alleen benodigde kolommen/bewerkingen
  • Gebruik de kleinste mogelijke datatypes
  • Gebruik een sterren­schema

Diagram van een sterschema met een feitentabel en bijbehorende dimensietabellen

Gegevens transformeren en analyseren met Microsoft Fabric

SQL optimaliseren

  • Beperk queries tot alleen benodigde kolommen/bewerkingen
  • Gebruik de kleinste mogelijke datatypes
  • Gebruik een sterren­schema
  • Gebruik systeemviews om querygebruik te monitoren
SELECT *
FROM sys.dm_exec_requests;
Gegevens transformeren en analyseren met Microsoft Fabric

Notebooks optimaliseren

  • Maak gebruik van de Spark History Server

Screenshot van de Spark UI‑webpagina

Gegevens transformeren en analyseren met Microsoft Fabric

Notebooks optimaliseren

  • Maak gebruik van de Spark History Server
  • Stop actieve Spark-sessies als je ze niet gebruikt
Gegevens transformeren en analyseren met Microsoft Fabric

Notebooks optimaliseren

  • Maak gebruik van de Spark History Server
  • Stop actieve Spark-sessies als je ze niet gebruikt
  • Verminder geheugen­gebruik vóór joins (filter/aggereer eerst)
Gegevens transformeren en analyseren met Microsoft Fabric

Dataflows optimaliseren

  • Minimaliseer dure bewerkingen zoals sorteren

Voorbeeld dataflow waar een sorteerbewerking wordt weggelaten als die niet nodig is

Gegevens transformeren en analyseren met Microsoft Fabric

Dataflows optimaliseren

  • Minimaliseer dure bewerkingen zoals sorteren
  • Query folding
    • Verplaats verwerking naar de gegevensbron

Voorbeeld dataflow-stap. Zonder query folding gebeurt de verwerking buiten de bron. Met query folding voert de bron de bewerking uit

Gegevens transformeren en analyseren met Microsoft Fabric

Dataflows optimaliseren

  • Minimaliseer dure bewerkingen zoals sorteren
  • Query folding
    • Verplaats verwerking naar de gegevensbron
  • Staging aan/uit
    • Uitschakelen bij kleine ladingen of eenvoudige transformaties
    • Inschakelen bij grote ladingen of complexe transformaties

Screenshot met de optie Enable Staging in een dataflowquery

Gegevens transformeren en analyseren met Microsoft Fabric

Schalen: omhoog

  • Vergroot de SKU‑grootte
  • Hogere SKU = meer rekenkracht

Tabel met beschikbare Fabric Azure‑SKU's, van kleinste F2 tot grootste F2048 v

Gegevens transformeren en analyseren met Microsoft Fabric

Schalen: omhoog

Voorbeeldillustratie van omhoog schalen van een Fabric‑capaciteit door meer v‑cores toe te voegen

Voorbeeld: schaal omhoog van F64 (8 v‑cores) naar F128 (16 v‑cores)

Gegevens transformeren en analyseren met Microsoft Fabric

Schalen: uit

  • Verplaats sommige items naar een andere Fabric‑capaciteit
  • Isoleer workloads
    • Productie vs. niet‑productie
    • Verschillende bedrijfsgebieden, bv. aparte capaciteit voor directierapportages
Gegevens transformeren en analyseren met Microsoft Fabric

Schalen: uit

Voorbeeldillustratie van uitschalen door een tweede capaciteit toe te voegen en een workload te verplaatsen

Gegevens transformeren en analyseren met Microsoft Fabric

Laten we oefenen!

Gegevens transformeren en analyseren met Microsoft Fabric

Preparing Video For Download...