Datarensning och filtrering

Transformera och analysera data med Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Verktyg för datarensning

 

 

Hantera tomma rader

• Ta bort raden när hela raden är tom

 

Hantera tomma rader med Dataflows

• Transformeringen Remove blank rows

 

Hantera tomma rader med Spark

• DataFrame-funktionen dropna( )
• Kan ta bort rader med något null-värde, eller rader där alla värden är null

Hantera dubbletter av rader

• Ta bort dubbletter av rader

 

Hantera dubbletter av rader med Dataflows

• Transformeringen Remove duplicates

 

Hantera dubbletter av rader med Spark

• DataFrame-funktionen dropDuplicates( )

 

Ersätta värden

• Ersätt förekomster av ett visst värde i en kolumn med ett annat värde.
• Kan också användas för att ersätta tomma celler med ett värde.

 

Ersätta värden med Dataflows

• Transformeringen Replace values

 

Ersätta värden med Spark

• DataFrame-funktionen replace( )_

 

Korrigera datatyper

• Enhetliga datatyper i modellen
• Möjliggör jämförelse mellan värden

Korrigera datatyper

• Enhetliga datatyper i modellen.
• Möjliggör jämförelse mellan värden.
• Stöder datatypspecifika operationer.
  • Aritmetiska operationer på numeriska kolumner.
  • Datum- och tidsoperationer på datum- och tidskolumner.

Korrigera datatyper med Dataflows

• Kontextkänslig meny (alternativ 1):
  1. Välj en kolumn i datavyn.
  2. Klicka på ikonen till vänster om kolumnrubriken.

Korrigera datatyper med Dataflows

• Kontextkänslig meny (alternativ 1):
  1. Välj en kolumn i datavyn.
  2. Klicka på ikonen till vänster om kolumnrubriken.
  3. Välj en ny datatyp i listan.

Korrigera datatyper med Dataflows

• Kontextkänslig meny (alternativ 2):
  1. Välj en kolumn i datavyn.
  2. Högerklicka på kolumnrubriken.

Korrigera datatyper med Dataflows

• Lägg till en transformering:
  1. Välj en kolumn i datavyn.
  2. Lägg till en transformering genom att klicka på (+) i diagramvyn.
  3. Klicka på Change type i popup-menyn och välj en ny datatyp i listan.

Korrigera datatyper med Spark

• DataFrame-funktionen cast( )_

df.withColumn("new_column_name", df["column_name"].cast("new_data_type"))

• Exempel:

# Convert the [orderID] column to integer
df = df.withColumn("orderID", df["orderID"].cast("integer"))

Datafiltrering

• Inkludera eller exkludera rader baserat på ett villkor.

SELECT
  OrderID, State, Date, Amount
FROM
  Orders 
WHERE
  State = 'NY'

Datafiltrering med Dataflows

• Använd transformeringen Filter

Datafiltrering med Spark

• DataFrame-funktionen filter( )
• where( ) är ett alias för filter( )

df.filter( <condition> )

• Exempel:

# Return only DataFrame rows whete State = 'NY'
df.filter( df.state == 'NY' )

Nu kör vi en övning!

Transformera och analysera data med Microsoft Fabric