Очищення та фільтрування даних

Перетворення та аналіз даних у Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Інструменти для очищення даних

 

 

Обробка порожніх рядків

• Видаляйте рядок, якщо весь рядок порожній

 

Обробка порожніх рядків у Dataflows

• Перетворення Remove blank rows

 

Обробка порожніх рядків у Spark

• Функція DataFrame dropna( )
• Може видаляти рядок із будь-якими null або лише з усіма null

Обробка дубльованих рядків

• Видаляйте дублікати рядків

 

Обробка дублікатів у Dataflows

• Перетворення Remove duplicates

 

Обробка дублікатів у Spark

• Функція DataFrame dropDuplicates( )

 

Заміна значень

• Замінюйте певні значення у стовпці іншими.
• Також можна замінювати порожні клітинки значенням.

 

Заміна значень у Dataflows

• Перетворення Replace values

 

Заміна значень у Spark

• Функція DataFrame replace( )

 

Виправлення типів даних

• Узгоджені типи даних у всій моделі
• Підтримка порівняння значень

Виправлення типів даних

• Узгоджені типи даних у всій моделі.
• Підтримка порівняння значень.
• Підтримка операцій, специфічних для типу.
  • Арифметика для числових стовпців.
  • Операції дати/часу для стовпців дати/часу.

Виправлення типів даних у Dataflows

• Контекстне меню (варіант 1):
  1. Виберіть стовпець у поданні даних.
  2. Натисніть на піктограму ліворуч від заголовка стовпця.

Виправлення типів даних у Dataflows

• Контекстне меню (варіант 1):
  1. Виберіть стовпець у поданні даних.
  2. Натисніть на піктограму ліворуч від заголовка стовпця.
  3. Виберіть новий тип даних зі списку.

Виправлення типів даних у Dataflows

• Контекстне меню (варіант 2):
  1. Виберіть стовпець у поданні даних.
  2. Клацніть правою кнопкою на заголовку стовпця.

Виправлення типів даних у Dataflows

• Додайте трансформацію:
  1. Виберіть стовпець у поданні даних.
  2. Додайте перетворення, натиснувши (+) у поданні діаграми.
  3. Натисніть Change type у спливаючому меню й виберіть новий тип даних зі списку.

Виправлення типів даних у Spark

• Функція DataFrame cast( )

df.withColumn("new_column_name", df["column_name"].cast("new_data_type"))

• Приклад:

# Convert the [orderID] column to integer
df = df.withColumn("orderID", df["orderID"].cast("integer"))

Фільтрування даних

• Включайте або виключайте рядки за певною умовою.

SELECT
  OrderID, State, Date, Amount
FROM
  Orders 
WHERE
  State = 'NY'

Фільтрування даних у Dataflows

• Використайте перетворення Filter

Фільтрування даних у Spark

• Функція DataFrame filter( )
• where( ) — синонім filter( )

df.filter( <condition> )

• Приклад:

# Return only DataFrame rows whete State = 'NY'
df.filter( df.state == 'NY' )

Давайте потренуємось!

Перетворення та аналіз даних у Microsoft Fabric