Průzkum a transformace dat

Transform and Analyze Data with Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Scénáře transformace dat

Proč transformovat data?

Odstranit nebo opravit nesprávná data ze zdrojových systémů

Datová tabulka s neplatnými záznamy zvýrazněnými červeně

Scénáře transformace dat

Proč transformovat data?

Odstranit nebo opravit nesprávná data ze zdrojových systémů.
Převést datové typy pro zajištění konzistence.

Znázornění datového sloupce ukládajícího čísla jako text převedeného na skutečná čísla

Scénáře transformace dat

Proč transformovat data?

Odstranit nebo opravit nesprávná data ze zdrojových systémů.
Převést datové typy pro zajištění konzistence.
Odfiltrovat irelevantní data.

Tabulka před filtrováním a po filtrování – zachovány pouze záznamy, kde určité pole není rovno 'X'

Scénáře transformace dat

Proč transformovat data?

Odstranit nebo opravit nesprávná data ze zdrojových systémů.
Převést datové typy pro zajištění konzistence.
Odfiltrovat irelevantní data.
Kombinovat data z více zdrojových systémů.

Diagram znázorňující dvě tabulky sloučené do jedné -

Scénáře transformace dat

Proč transformovat data?

Odstranit nebo opravit nesprávná data ze zdrojových systémů.
Převést datové typy pro zajištění konzistence.
Odfiltrovat irelevantní data.
Kombinovat data z více zdrojových systémů.
Převést data do formátu vhodného pro analýzu a reporting.

Diagram znázorňující velkou tabulku transformovanou do schématu hvězdy

Čištění dat

Omezit irelevantní řádky (odebrat první/poslední řádky)
Odstranit duplicity
Odstranit prázdné řádky
Odstranit chybové řádky
Převést datové typy

Zdrojová tabulka s neplatnými záznamy zvýrazněnými červeně a šipkou znázorňující jejich odstranění z cílové tabulky

Filtrování dat

Zúžení datových sad
- Výběr pouze části dat
- Vyřazení záznamů nesplňujících kritéria
Příklad: klauzule SQL WHERE

Screenshot dotazu vybírající data z tabulky Orders, kde sloupec State se rovná NY

Diagram znázorňující filtrování tabulky – zachovány pouze řádky se státem NY

Slučování a spojování dat

Spojení dvou nebo více datových sad
Vhodné pro vytváření schémat hvězdy

Diagram znázorňující sloučení dvou tabulek

Agregace a deagregace dat

Agregace: kompilace a shrnutí dat

Tabulka s objednávkami podle státu agregovaná do nové tabulky s celkovým počtem objednávek a celkovými tržbami podle státu

Deagregace: rozdělení dat, obvykle jednoho sloupce do více sloupců

Tabulka poboček s umístěním ve formátu město, stát deagregovaná do nové tabulky s oddělenými sloupci pro město a stát

Nástroje pro průzkum a transformaci dat

Dataflows
Data Wrangler

Dva snímky obrazovky zobrazující grafické rozhraní nástrojů Dataflows a Data Wrangler

Spark notebooks
SQL skripty

Dva snímky obrazovky zobrazující ukázkový Spark notebook a SQL skript

Dataflows

Grafické rozhraní s nízkým množstvím kódu
Čištění
Filtrování
Agregace

Screenshot návrháře Dataflow s ukázkovými dotazy a dostupnými operacemi transformace

Data Wrangler

Nástroj na bázi notebooku pro průzkumnou analýzu dat
Mřížka pro zobrazení dat
Dynamické souhrnné statistiky
Vestavěné vizualizace
Knihovna běžných operací čištění dat

Screenshot rozhraní Data Wrangler s ukázkovými operacemi

Spark notebooks

Různé programovací jazyky
Knihovny Python pro manipulaci s daty
- PySpark pro velké datové sady
- Pandas pro menší datové sady

Screenshot Spark notebooku s ukázkovým kódem PySpark

SQL skripty

Příkazy T-SQL pro manipulaci s daty: SELECT, INSERT, UPDATE, DELETE
JOIN pro sloučení dat
CAST a CONVERT pro převod datových typů

Screenshot editoru SQL s ukázkovým dotazem SELECT

Pojďme si procvičit!

Transform and Analyze Data with Microsoft Fabric