Čištění a filtrování dat

Transform and Analyze Data with Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Nástroje pro čištění dat

Ikony tří nástrojů: SQL, Spark a Dataflows

Zpracování prázdných řádků

Odebrání řádku, pokud je celý řádek prázdný

Diagram zobrazující tabulku s několika prázdnými řádky, ze které byly prázdné řádky odebrány

Zpracování prázdných řádků v Dataflows

Transformace Odebrat prázdné řádky

Snímek obrazovky nabídky Odebrat řádky v Dataflow s vybranou možností odebrání prázdných řádků a příkladem tabulky před a po odstranění řádků

Zpracování prázdných řádků ve Sparku

Funkce DataFrame dropna( )
Umožňuje odebrat řádek s libovolnou nebo se všemi hodnotami null

Příklad tabulky před a po odebrání řádků pomocí dvou variant funkce dropna

Zpracování duplicitních řádků

Odebrání duplicitních řádků

Diagram zobrazující tabulku s duplicitním řádkem, ze které byl jeden duplicitní záznam odebrán

Zpracování duplicitních řádků v Dataflows

Transformace Odebrat duplikáty

Snímek obrazovky nabídky Odebrat řádky v Dataflow s vybranou možností odebrání duplikátů a příkladem tabulky před a po odstranění řádků

Zpracování duplicitních řádků ve Sparku

Funkce DataFrame dropDuplicates( )

Diagram zobrazující tabulku s duplicitním řádkem, ze které byl jeden duplicitní záznam odebrán po volání funkce dropDuplicates

Nahrazování hodnot

Nahradí výskyty určité hodnoty ve sloupci jinou hodnotou.
Lze použít i k nahrazení prázdných buněk hodnotou.

Diagram zobrazující tabulku, kde jsou hodnoty ABC v několika záznamech nahrazeny hodnotami XYA.

Nahrazování hodnot v Dataflows

Transformace Nahradit hodnoty

Snímek obrazovky možnosti transformace Nahradit hodnoty v Dataflow s příkladem tabulky před a po nahrazení prázdných hodnot řetězcem '(Unknown)'

Nahrazování hodnot ve Sparku

Funkce DataFrame replace( )_

Diagram zobrazující tabulku, kde jsou hodnoty N/A v několika záznamech nahrazeny řetězcem 'Unknown' po volání funkce replace v PySparku

Oprava datových typů

Konzistence datových typů v celém modelu
Umožňuje porovnávání hodnot

Obrázek znázorňující datový sloupec, kde jsou čísla uložena jako text a převedena na skutečná čísla

Oprava datových typů

Konzistence datových typů v celém modelu.
Umožňuje porovnávání hodnot.
Podporuje operace specifické pro daný datový typ.
- Aritmetické operace nad číselnými sloupci.
- Operace s datem a časem nad sloupci datum/čas.

Příklad některých transformací dostupných pro textový sloupec, jako lowercase, uppercase a trim, a transformací pro numerický sloupec, jako součet a maximum

Oprava datových typů v Dataflows

Kontextová nabídka (možnost 1):
1. Vyberte sloupec v zobrazení dat.
2. Klikněte na ikonu vlevo od záhlaví sloupce.

Snímek obrazovky zvýrazňující ikonu vlevo od záhlaví sloupce, která zpřístupňuje kontextovou nabídku Změnit typ

Oprava datových typů v Dataflows

Kontextová nabídka (možnost 1):
1. Vyberte sloupec v zobrazení dat.
2. Klikněte na ikonu vlevo od záhlaví sloupce.
3. Ze seznamu vyberte nový datový typ.

Snímek obrazovky kontextové nabídky Změnit typ, která se zobrazí po kliknutí na datový typ v záhlaví sloupce v zobrazení dat

Oprava datových typů v Dataflows

Kontextová nabídka (možnost 2):
1. Vyberte sloupec v zobrazení dat.
2. Klikněte pravým tlačítkem na záhlaví sloupce.

Snímek obrazovky zvýrazňující záhlaví sloupce, jehož datový typ chceme změnit

Oprava datových typů v Dataflows

Přidat transformaci:
1. Vyberte sloupec v zobrazení dat.
2. Přidejte transformaci kliknutím na (+) v zobrazení diagramu.
3. Klikněte na Změnit typ v místní nabídce a vyberte nový datový typ ze seznamu.

Snímek obrazovky zobrazující dotaz, do kterého je přidávána transformace Změnit typ

Oprava datových typů ve Sparku

Funkce DataFrame cast( )_

df.withColumn("new_column_name", df["column_name"].cast("new_data_type"))

Příklad:

# Convert the [orderID] column to integer
df = df.withColumn("orderID", df["orderID"].cast("integer"))

Filtrování dat

Zahrnutí nebo vyloučení řádků na základě podmínky.

SELECT
  OrderID, State, Date, Amount
FROM
  Orders 
WHERE
  State = 'NY'

Diagram zobrazující tabulku, ze které jsou odfiltrovány řádky nesouvisející se státem NY

Filtrování dat v Dataflows

Použijte transformaci Filtr

Snímek obrazovky transformace filtr aplikované na sloupec

Filtrování dat ve Sparku

Funkce DataFrame filter( )
where( ) je alias pro filter( )

df.filter( <condition> )

Příklad:

# Return only DataFrame rows whete State = 'NY'
df.filter( df.state == 'NY' )

Vyzkoušejte si to!

Transform and Analyze Data with Microsoft Fabric