Очистка и фильтрация данных

Преобразование и анализ данных с Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Инструменты очистки данных

 

 

Обработка пустых строк

• Удалять строку, если она полностью пустая

 

Обработка пустых строк в Dataflows

• Преобразование Remove blank rows

 

Обработка пустых строк в Spark

• Функция dropna( ) объекта DataFrame
• Позволяет удалять строки с любым или со всеми значениями null

Обработка дублирующихся строк

• Удалять повторяющиеся строки

 

Обработка дублирующихся строк в Dataflows

• Преобразование Remove duplicates

 

Обработка дублирующихся строк в Spark

• Функция dropDuplicates( ) объекта DataFrame

 

Замена значений

• Замена определённого значения в столбце другим значением.
• Также позволяет заполнять пустые ячейки нужным значением.

 

Замена значений в Dataflows

• Преобразование Replace values

 

Замена значений в Spark

• Функция replace( ) объекта DataFrame

 

Исправление типов данных

• Единообразие типов данных в модели
• Обеспечивает корректное сравнение значений

Исправление типов данных

• Единообразие типов данных в модели.
• Обеспечивает корректное сравнение значений.
• Открывает операции, специфичные для типа данных.
  • Арифметические операции над числовыми столбцами.
  • Операции с датой и временем над соответствующими столбцами.

Исправление типов данных в Dataflows

• Контекстное меню (вариант 1):
  1. Выберите столбец в представлении данных.
  2. Нажмите на значок слева от заголовка столбца.

Исправление типов данных в Dataflows

• Контекстное меню (вариант 1):
  1. Выберите столбец в представлении данных.
  2. Нажмите на значок слева от заголовка столбца.
  3. Выберите новый тип данных из списка.

Исправление типов данных в Dataflows

• Контекстное меню (вариант 2):
  1. Выберите столбец в представлении данных.
  2. Щёлкните правой кнопкой мыши по заголовку столбца.

Исправление типов данных в Dataflows

• Добавление преобразования:
  1. Выберите столбец в представлении данных.
  2. Добавьте преобразование, нажав (+) в представлении диаграммы.
  3. Выберите Change type во всплывающем меню и укажите новый тип данных.

Исправление типов данных в Spark

• Функция cast( ) объекта DataFrame

df.withColumn("new_column_name", df["column_name"].cast("new_data_type"))

• Пример:

# Convert the [orderID] column to integer
df = df.withColumn("orderID", df["orderID"].cast("integer"))

Фильтрация данных

• Включение или исключение строк по заданному условию.

SELECT
  OrderID, State, Date, Amount
FROM
  Orders 
WHERE
  State = 'NY'

Фильтрация данных в Dataflows

• Используйте преобразование Filter

Фильтрация данных в Spark

• Функция filter( ) объекта DataFrame
• where( ) — псевдоним для filter( )

df.filter( <condition> )

• Пример:

# Return only DataFrame rows whete State = 'NY'
df.filter( df.state == 'NY' )

Давайте потренируемся!

Преобразование и анализ данных с Microsoft Fabric