Eksploracja i transformacja danych

Przekształcanie i analizowanie danych w Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Scenariusze transformacji danych

Dlaczego transformujemy dane?

Usuwanie lub czyszczenie błędnych danych ze źródeł

Obraz tabeli danych z nieprawidłowymi wpisami zaznaczonymi na czerwono

Scenariusze transformacji danych

Dlaczego transformujemy dane?

Usuwanie lub czyszczenie błędnych danych ze źródeł.
Konwersja typów danych w celu zapewnienia spójności.

Obraz przedstawiający kolumnę danych przechowującą liczby jako tekst, konwertowaną na rzeczywiste liczby

Scenariusze transformacji danych

Dlaczego transformujemy dane?

Usuwanie lub czyszczenie błędnych danych ze źródeł.
Konwersja typów danych w celu zapewnienia spójności.
Filtrowanie nieistotnych danych.

Obraz przedstawiający tabelę przed filtrowaniem i po filtrowaniu wierszy niespełniających kryteriów — w tym przypadku zachowywane są tylko rekordy, gdzie dane pole nie jest równe 'X'

Scenariusze transformacji danych

Dlaczego transformujemy dane?

Usuwanie lub czyszczenie błędnych danych ze źródeł.
Konwersja typów danych w celu zapewnienia spójności.
Filtrowanie nieistotnych danych.
Łączenie danych z wielu źródeł.

Diagram przedstawiający dwie tabele łączone w jedną -

Scenariusze transformacji danych

Dlaczego transformujemy dane?

Usuwanie lub czyszczenie błędnych danych ze źródeł.
Konwersja typów danych w celu zapewnienia spójności.
Filtrowanie nieistotnych danych.
Łączenie danych z wielu źródeł.
Przygotowanie danych w formacie odpowiednim do analizy i raportowania.

Diagram przedstawiający dużą tabelę przekształconą w schemat gwiazdy

Czyszczenie danych

Redukcja zbędnych wierszy (usuwanie górnych, dolnych)
Usuwanie duplikatów
Usuwanie pustych wierszy
Usuwanie wierszy z błędami
Konwersja typów danych

Obraz tabeli źródłowej z nieprawidłowymi wpisami zaznaczonymi na czerwono i strzałką wskazującą usunięcie tych rekordów z tabeli docelowej

Filtrowanie danych

Zawężanie zbiorów danych
- Wybieranie tylko podzbioru danych
- Odrzucanie rekordów niespełniających kryteriów
Przykład: klauzula SQL WHERE

Zrzut ekranu zapytania wybierającego dane z tabeli Orders, gdzie kolumna State równa się NY

Diagram przedstawiający tabelę filtrującą wiersze niezwiązane ze stanem NY

Scalanie i łączenie danych

Łączenie dwóch lub więcej zbiorów danych
Przydatne do budowania schematów gwiazdy

Diagram ilustrujący scalanie dwóch tabel

Agregacja i dezagregacja danych

Agregacja: kompilowanie i podsumowywanie danych

Tabela z zamówieniami sprzedaży według stanu zagregowana do nowej tabeli z łączną liczbą zamówień i łączną sprzedażą według stanu

Dezagregacja: podział danych, zazwyczaj jednej kolumny na wiele

Tabela lokalizacji oddziałów z miastem i stanem zdezagregowanymi do nowej tabeli, gdzie miasto i stan są w osobnych kolumnach

Narzędzia do eksploracji i transformacji danych

Dataflows
Data Wrangler

Dwa zrzuty ekranu prezentujące graficzny interfejs dataflows i Data Wrangler

Notebooki Spark
Skrypty SQL

Dwa zrzuty ekranu przedstawiające przykładowy notebook Spark i skrypt SQL

Dataflows

Graficzny interfejs low-code
Czyszczenie
Filtrowanie
Agregowanie

Zrzut ekranu projektanta Dataflow z przykładowymi zapytaniami i dostępnymi operacjami transformacji

Data Wrangler

Narzędzie notebookowe do eksploracyjnej analizy danych
Siatka wyświetlania danych
Dynamiczne statystyki podsumowujące
Wbudowane wizualizacje
Biblioteka typowych operacji czyszczenia danych

Zrzut ekranu interfejsu Data Wrangler z przykładowymi operacjami

Notebooki Spark

Wiele języków programowania
Biblioteki Python do manipulacji danymi
- PySpark dla dużych zbiorów danych
- Pandas dla mniejszych zbiorów danych

Zrzut ekranu notebooka Spark z przykładowym kodem PySpark

Skrypty SQL

Instrukcje T-SQL do manipulacji danymi: SELECT, INSERT, UPDATE, DELETE
JOIN do scalania danych
CAST i CONVERT do konwersji typów danych

Zrzut ekranu edytora SQL z przykładowym zapytaniem SELECT

Czas na ćwiczenia!

Przekształcanie i analizowanie danych w Microsoft Fabric