Datautforskning och datatransformering

Transformera och analysera data med Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Scenarier för datatransformering

Varför behöver vi transformera data?

Ta bort eller rensa felaktiga data från källsystem

Bild av en datatabell med ogiltiga poster markerade i rött

Scenarier för datatransformering

Varför behöver vi transformera data?

Ta bort eller rensa felaktiga data från källsystem.
Konvertera datatyper för att säkerställa konsekvens.

Bild som visar en datakolumn där tal lagras som text och konverteras till faktiska tal

Scenarier för datatransformering

Varför behöver vi transformera data?

Ta bort eller rensa felaktiga data från källsystem.
Konvertera datatyper för att säkerställa konsekvens.
Filtrera bort irrelevant data.

Bild som visar en tabell före och efter filtrering av rader som inte uppfyller ett visst kriterium – här behålls endast poster där ett visst fält inte är lika med 'X'

Scenarier för datatransformering

Varför behöver vi transformera data?

Ta bort eller rensa felaktiga data från källsystem.
Konvertera datatyper för att säkerställa konsekvens.
Filtrera bort irrelevant data.
Kombinera data från flera källsystem.

Diagram som visar hur två tabeller slås ihop till en -

Scenarier för datatransformering

Varför behöver vi transformera data?

Ta bort eller rensa felaktiga data från källsystem.
Konvertera datatyper för att säkerställa konsekvens.
Filtrera bort irrelevant data.
Kombinera data från flera källsystem.
Strukturera data i ett format som är bättre lämpat för analys och rapportering.

Diagram som visar hur en stor tabell transformeras till ett stjärnschema

Datarensning

Minska irrelevanta rader (ta bort översta/understa rader)
Ta bort dubbletter
Ta bort tomma rader
Ta bort felrader
Konvertera datatyper

Bild av källdatatabell med ogiltiga poster markerade i rött och en pil som visar hur dessa poster tas bort från måltabellen

Datafiltrering

Avgränsa datamängder
- Välj endast en delmängd av datan
- Uteslut poster som inte uppfyller vissa kriterier
Exempel: SQL WHERE-sats

Skärmbild av en fråga som väljer data från tabellen Orders där kolumnen State är lika med NY

Diagram som visar en tabell där rader som inte tillhör delstaten NY filtreras bort

Sammanslagning och koppling av data

Sammanfoga två eller fler datamängder
Användbart för att bygga stjärnscheman

Diagram som illustrerar sammanslagningen av två tabeller

Dataaggregering och deaggregering

Aggregera: sammanställ och summera data

Tabell med försäljningsorder per delstat aggregerade till en ny tabell med totalt antal order och total försäljning per delstat

Deaggregera: dela upp data, vanligen en kolumn till flera kolumner

Tabell med filialplatser där platsen innehåller stad och delstat, deaggregerad till en ny tabell där stad och delstat finns i separata kolumner

Verktyg för datautforskning och transformering

Dataflows
Data Wrangler

Två skärmbilder sida vid sida som visar det grafiska gränssnittet för Dataflows och Data Wrangler

Spark-notebooks
SQL-skript

Två skärmbilder sida vid sida som visar ett exempel på en Spark-notebook och ett SQL-skript

Dataflows

Grafiskt gränssnitt med låg kodmängd
Rensning
Filtrering
Aggregering

Skärmbild av Dataflow-designern med några exempelfrågor och tillgängliga transformeringsoperationer

Data Wrangler

Notebookbaserat verktyg för explorativ dataanalys
Datadisplayraster
Dynamisk sammanfattningsstatistik
Inbyggda visualiseringar
Bibliotek med vanliga datarensningsoperationer

Skärmbild av Data Wrangler-gränssnittet med några exempeloperationer

Spark-notebooks

Stöd för flera språk
Python-bibliotek för datahantering
- PySpark för stora datamängder
- Pandas för mindre datamängder

Skärmbild av en Spark-notebook med exempel på PySpark-kod

SQL-skript

T-SQL-uttryck för datahantering: SELECT, INSERT, UPDATE, DELETE
JOIN för att sammanfoga data
CAST och CONVERT för att konvertera datatyper

Skärmbild av SQL-editorn med en exempelfråga med SELECT

Nu kör vi en övning!

Transformera och analysera data med Microsoft Fabric