Czyszczenie i filtrowanie danych

Przekształcanie i analizowanie danych w Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Narzędzia do czyszczenia danych

 

 

Obsługa pustych wierszy

• Usuń wiersz, gdy cały wiersz jest pusty

 

Obsługa pustych wierszy w Dataflows

• Transformacja Usuń puste wiersze

 

Obsługa pustych wierszy w Spark

• Funkcja dropna( ) w DataFrame
• Może usunąć wiersz z dowolną wartością null lub z samymi wartościami null

Obsługa zduplikowanych wierszy

• Usuń zduplikowane wiersze

 

Obsługa zduplikowanych wierszy w Dataflows

• Transformacja Usuń duplikaty

 

Obsługa zduplikowanych wierszy w Spark

• Funkcja dropDuplicates( ) w DataFrame

 

Zastępowanie wartości

• Zastępuje wystąpienia określonej wartości w kolumnie inną wartością.
• Może być również używana do wypełniania pustych komórek wartością.

 

Zastępowanie wartości w Dataflows

• Transformacja Zastąp wartości

 

Zastępowanie wartości w Spark

• Funkcja replace( ) w DataFrame

 

Poprawianie typów danych

• Spójność typów danych w modelu
• Umożliwia porównywanie wartości

Poprawianie typów danych

• Spójność typów danych w modelu.
• Umożliwia porównywanie wartości.
• Obsługuje operacje specyficzne dla danego typu.
  • Operacje arytmetyczne na kolumnach numerycznych.
  • Operacje daty/czasu na kolumnach daty/czasu.

Poprawianie typów danych w Dataflows

• Menu kontekstowe (opcja 1):
  1. Zaznacz kolumnę w widoku danych.
  2. Kliknij ikonę po lewej stronie nagłówka kolumny.

Poprawianie typów danych w Dataflows

• Menu kontekstowe (opcja 1):
  1. Zaznacz kolumnę w widoku danych.
  2. Kliknij ikonę po lewej stronie nagłówka kolumny.
  3. Wybierz nowy typ danych z listy.

Poprawianie typów danych w Dataflows

• Menu kontekstowe (opcja 2):
  1. Zaznacz kolumnę w widoku danych.
  2. Kliknij prawym przyciskiem myszy nagłówek kolumny.

Poprawianie typów danych w Dataflows

• Dodanie transformacji:
  1. Zaznacz kolumnę w widoku danych.
  2. Dodaj transformację, klikając (+) w widoku diagramu.
  3. Kliknij Zmień typ w menu podręcznym i wybierz nowy typ danych z listy.

Poprawianie typów danych w Spark

• Funkcja cast( ) w DataFrame

df.withColumn("new_column_name", df["column_name"].cast("new_data_type"))

• Przykład:

# Convert the [orderID] column to integer
df = df.withColumn("orderID", df["orderID"].cast("integer"))

Filtrowanie danych

• Dołącza lub wyklucza wiersze na podstawie warunku.

SELECT
  OrderID, State, Date, Amount
FROM
  Orders 
WHERE
  State = 'NY'

Filtrowanie danych w Dataflows

• Użyj transformacji Filtr

Filtrowanie danych w Spark

• Funkcja filter( ) w DataFrame
• where( ) jest aliasem dla filter( )

df.filter( <condition> )

• Przykład:

# Return only DataFrame rows whete State = 'NY'
df.filter( df.state == 'NY' )

Czas na ćwiczenia!

Przekształcanie i analizowanie danych w Microsoft Fabric