Исследование и преобразование данных

Преобразование и анализ данных с Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Сценарии преобразования данных

Зачем преобразовывать данные?

Удалить или исправить некорректные данные из исходных систем

Изображение таблицы данных с выделенными красным цветом недопустимыми записями

Сценарии преобразования данных

Зачем преобразовывать данные?

Удалить или исправить некорректные данные из исходных систем.
Привести типы данных к единому формату.

Изображение столбца данных с числами в текстовом формате, преобразованными в числовой

Сценарии преобразования данных

Зачем преобразовывать данные?

Удалить или исправить некорректные данные из исходных систем.
Привести типы данных к единому формату.
Отфильтровать нерелевантные данные.

Изображение таблицы до и после фильтрации строк, не соответствующих заданному критерию: оставлены только записи, где определённое поле не равно «X»

Сценарии преобразования данных

Зачем преобразовывать данные?

Удалить или исправить некорректные данные из исходных систем.
Привести типы данных к единому формату.
Отфильтровать нерелевантные данные.
Объединить данные из нескольких исходных систем.

Диаграмма, показывающая объединение двух таблиц в одну -

Сценарии преобразования данных

Зачем преобразовывать данные?

Удалить или исправить некорректные данные из исходных систем.
Привести типы данных к единому формату.
Отфильтровать нерелевантные данные.
Объединить данные из нескольких исходных систем.
Привести данные к формату, удобному для анализа и отчётности.

Диаграмма, показывающая преобразование одной большой таблицы в схему «звезда»

Очистка данных

Сокращение нерелевантных строк (удаление первых и последних строк)
Удаление дубликатов
Удаление пустых строк
Удаление строк с ошибками
Преобразование типов данных

Изображение исходной таблицы данных с выделенными красным недопустимыми записями и стрелкой, показывающей их удаление из целевой таблицы

Фильтрация данных

Сужение наборов данных
- Выбор подмножества данных
- Исключение записей, не соответствующих критериям
Пример: конструкция SQL WHERE

Снимок экрана с запросом, выбирающим данные из таблицы Orders, где столбец State равен NY

Диаграмма, показывающая фильтрацию таблицы: строки, не относящиеся к штату NY, исключаются

Слияние и объединение данных

Объединение двух и более наборов данных
Полезно при построении схем «звезда»

Диаграмма, иллюстрирующая слияние двух таблиц

Агрегирование и деагрегирование данных

Агрегирование: сбор и обобщение данных

Таблица заказов по штатам, агрегированная в новую таблицу с общим количеством заказов и суммой продаж по каждому штату

Деагрегирование: разбивка данных, как правило одного столбца на несколько

Таблица местоположений филиалов с городом и штатом в одном поле, преобразованная в новую таблицу с раздельными столбцами для города и штата

Инструменты для исследования и преобразования данных

Dataflows
Data Wrangler

Два снимка экрана рядом, показывающие графический интерфейс Dataflows и Data Wrangler

Spark notebooks
SQL scripts

Два снимка экрана рядом: пример блокнота Spark и SQL-скрипта

Dataflows

Низкокодовый графический интерфейс
Очистка
Фильтрация
Агрегирование

Снимок экрана конструктора Dataflow с примерами запросов и доступными операциями преобразования

Data Wrangler

Инструмент на основе блокнотов для разведочного анализа данных
Сетка отображения данных
Динамическая сводная статистика
Встроенные визуализации
Библиотека типовых операций очистки данных

Снимок экрана интерфейса Data Wrangler с примерами операций

Spark notebooks

Поддержка различных языков
Библиотеки Python для работы с данными
- PySpark — для больших наборов данных
- Pandas — для небольших наборов данных

Снимок экрана блокнота Spark с примером кода на PySpark

SQL scripts

Операторы T-SQL для работы с данными: SELECT, INSERT, UPDATE, DELETE
JOIN для объединения данных
CAST и CONVERT для преобразования типов данных

Снимок экрана редактора SQL с примером запроса SELECT

Давайте потренируемся!

Преобразование и анализ данных с Microsoft Fabric