Дослідження та трансформація даних

Перетворення та аналіз даних у Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Сценарії трансформації даних

Навіщо трансформувати дані?

Видаляти або очищати некоректні дані з джерел

Зображення таблиці даних із некоректними записами, виділеними червоним

Сценарії трансформації даних

Навіщо трансформувати дані?

Видаляти або очищати некоректні дані з джерел.
Конвертувати типи даних для узгодженості.

Зображення: стовпець із числами як текст перетворюється на справжні числа

Сценарії трансформації даних

Навіщо трансформувати дані?

Видаляти або очищати некоректні дані з джерел.
Конвертувати типи даних для узгодженості.
Відфільтровувати нерелевантні дані.

Зображення показує таблицю до й після фільтрації рядків, що не відповідають критерію; залишаються записи, де певне поле не дорівнює 'X'

Сценарії трансформації даних

Навіщо трансформувати дані?

Видаляти або очищати некоректні дані з джерел.
Конвертувати типи даних для узгодженості.
Відфільтровувати нерелевантні дані.
Обʼєднувати дані з кількох джерел.

Діаграма, що показує обʼєднання двох таблиць в одну -

Сценарії трансформації даних

Навіщо трансформувати дані?

Видаляти або очищати некоректні дані з джерел.
Конвертувати типи даних для узгодженості.
Відфільтровувати нерелевантні дані.
Обʼєднувати дані з кількох джерел.
Переводити дані у формат, зручніший для аналізу й звітності.

Діаграма: одна велика таблиця перетворюється на зіркоподібну схему

Очищення даних

Зменшити нерелевантні рядки (прибрати верхні, прибрати нижні)
Видалити дублікати
Видалити порожні рядки
Видалити рядки з помилками
Конвертувати типи даних

Зображення вихідної таблиці з помилковими записами, виділеними червоним, і стрілкою, що показує їх вилучення в цільовій таблиці

Фільтрація даних

Звуження наборів даних
- Обирати лише підмножину даних
- Відкидати записи, що не відповідають критеріям
Приклад: оператор SQL WHERE

Знімок запиту, що обирає дані з таблиці Orders, де стовпець State дорівнює NY

Діаграма, де з таблиці відфільтровано всі рядки, не повʼязані зі штатом NY

Злиття та обʼєднання даних

Обʼєднувати два або більше наборів даних
Корисно для побудови зіркових схем

Діаграма, що ілюструє злиття двох таблиць

Агрегація та дезагрегація даних

Агрегація: зведення та підсумок даних

Таблиця із замовленнями за штатами, агрегована у нову з кількістю замовлень і сумою продажів на штат

Дезагрегація: розбиття даних, зазвичай одного стовпця, на кілька

Таблиця з локаціями філій: поле з містом і штатом розбито на окремі стовпці «місто» та «штат»

Інструменти для дослідження й трансформації даних

Dataflows
Data Wrangler

Два знімки поруч: графічні інтерфейси dataflows і data wrangler

Блокноти Spark
Скрипти SQL

Два знімки поруч: приклад блокнота Spark і скрипта SQL

Dataflows

Графічний low-code інтерфейс
Очищення
Фільтрування
Агрегування

Скріншот конструктора Dataflow з прикладами запитів і доступними трансформаціями

Data Wrangler

Інструмент на основі блокнотів для розвідувального аналізу даних
Сітка відображення даних
Динамічні зведені статистики
Вбудовані візуалізації
Бібліотека типових операцій очищення

Скріншот інтерфейсу Data Wrangler із прикладами операцій

Блокноти Spark

Різні мови
Бібліотеки Python для обробки даних
- PySpark для великих наборів
- pandas для менших наборів

Скріншот блокнота Spark із прикладом коду PySpark

Скрипти SQL

Оператори T-SQL для маніпуляцій з даними: SELECT, INSERT, UPDATE, DELETE
JOIN для обʼєднання даних
CAST і CONVERT для зміни типів даних

Скріншот редактора SQL із прикладом запиту SELECT

Давайте потренуємось!

Перетворення та аналіз даних у Microsoft Fabric