Datenbereinigung und -filterung

Daten transformieren und analysieren mit Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Tools zur Datenbereinigung

 

 

Leere Zeilen behandeln

• Zeile entfernen, wenn die gesamte Zeile leer ist

 

Leere Zeilen mit Dataflows behandeln

• Transformation Leere Zeilen entfernen

 

Leere Zeilen mit Spark behandeln

• DataFrame-Funktion dropna( )
• Kann Zeilen mit beliebigen oder nur mit ausschließlich null-Werten entfernen

Doppelte Zeilen behandeln

• Doppelte Zeilen entfernen

 

Duplikate mit Dataflows behandeln

• Transformation Duplikate entfernen

 

Duplikate mit Spark behandeln

• DataFrame-Funktion dropDuplicates( )

 

Werte ersetzen

• Vorkommen eines bestimmten Werts in einer Spalte durch einen anderen ersetzen.
• Auch nutzbar, um leere Zellen zu füllen.

 

Werte mit Dataflows ersetzen

• Transformation Werte ersetzen

 

Werte mit Spark ersetzen

• DataFrame-Funktion replace( )

 

Datentypen korrigieren

• Einheitliche Datentypen im gesamten Modell
• Ermöglicht Vergleiche zwischen Werten

Datentypen korrigieren

• Einheitliche Datentypen im gesamten Modell.
• Ermöglicht Vergleiche zwischen Werten.
• Ermöglicht typabhängige Operationen.
  • Arithmetik auf numerischen Spalten.
  • Datums-/Zeitoperationen auf Datums-/Zeitspalten.

Datentypen mit Dataflows korrigieren

• Kontextmenü (Option 1):
  1. Wähle in der Datenansicht eine Spalte aus.
  2. Klicke auf das Symbol links neben der Spaltenüberschrift.

Datentypen mit Dataflows korrigieren

• Kontextmenü (Option 1):
  1. Wähle in der Datenansicht eine Spalte aus.
  2. Klicke auf das Symbol links neben der Spaltenüberschrift.
  3. Wähle einen neuen Datentyp aus der Liste.

Datentypen mit Dataflows korrigieren

• Kontextmenü (Option 2):
  1. Wähle in der Datenansicht eine Spalte aus.
  2. Klicke mit der rechten Maustaste auf die Spaltenüberschrift.

Datentypen mit Dataflows korrigieren

• Eine Transformation hinzufügen:
  1. Wähle in der Datenansicht eine Spalte aus.
  2. Füge in der Diagrammansicht per Klick auf (+) eine Transformation hinzu.
  3. Klicke im Popup auf Typ ändern und wähle einen neuen Datentyp.

Datentypen mit Spark korrigieren

• DataFrame-Funktion cast( )

df.withColumn("new_column_name", df["column_name"].cast("new_data_type"))

• Beispiel:

# Spalte [orderID] in Integer umwandeln
df = df.withColumn("orderID", df["orderID"].cast("integer"))

Daten filtern

• Zeilen anhand einer Bedingung ein- oder ausschließen.

SELECT
  OrderID, State, Date, Amount
FROM
  Orders 
WHERE
  State = 'NY'

Daten mit Dataflows filtern

• Die Transformation „Filter" verwenden

Daten mit Spark filtern

• DataFrame-Funktion filter( )
• where( ) ist ein Alias für filter( )

df.filter( <condition> )

• Beispiel:

# Nur DataFrame-Zeilen zurückgeben, bei denen State = 'NY'
df.filter( df.state == 'NY' )

Lass uns üben!

Daten transformieren und analysieren mit Microsoft Fabric