Data Engineering в Microsoft Fabric

Преобразование и анализ данных с Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Сквозной анализ данных

Диаграмма компонентов сквозного решения для анализа данных: источники данных, загрузка, подготовка и преобразование, хранение, запросы, визуализация и анализ

Загрузка данных из источника и хранение в озере данных
Подготовка и преобразование данных
Визуализация и анализ данных

Data Factory

Диаграмма компонентов сквозного решения для анализа данных с выделением Data Pipelines в компоненте загрузки и Dataflows в компоненте подготовки и преобразования

Загрузка, подготовка и преобразование данных
Dataflows и Data Pipelines

Dataflows

Интерфейс с минимальным кодом для загрузки и преобразования данных
Модуль преобразования Power Query

Снимок экрана конструктора Dataflow с примером потока загрузки данных

Data Pipelines

Набор действий для выполнения задачи
Типы действий:
- Перемещение данных (Copy activity, Dataflow)
- Преобразование данных (Notebook, Stored Procedure, Script)
- Управление (Switch, If, ForEach, Wait)

Снимок экрана конструктора Data Pipeline с примером конвейера загрузки, включающего действия Copy activity и Dataflow

Synapse Data Engineering

Диаграмма компонентов сквозного решения для анализа данных с выделением элементов Lakehouse в компоненте хранения, а также Notebooks и заданий Spark в компоненте подготовки и преобразования

Lakehouses
Notebooks
Определения заданий Apache Spark

Lakehouses

Структурированные данные (таблицы)
Неструктурированные данные (файлы)

Снимок экрана Lakehouse Explorer на портале Fabric с таблицами и файлами в Lakehouse

Notebooks

Интерактивный веб-интерфейс
- Код для работы с данными
- Визуализации данных
- Комментарии и пояснения
Поддержка нескольких языков:
- PySpark (Python)
- Spark (Scala)
- Spark SQL (SQL)
- SparkR (R)

Снимок экрана редактора Notebook с примером ноутбука, содержащего текстовые описания, код на Python и гистограмму

Определения заданий Apache Spark

Отправка пакетных и потоковых заданий в кластеры Spark
Альтернатива или дополнение к Notebooks:
- Notebooks — для исследования данных, прототипирования и совместной разработки
- Spark Job Definition — для автоматизации готового к продакшену кода обработки данных

Снимок экрана определения задания Spark с параметрами конфигурации

Synapse Data Warehouse

Диаграмма компонентов сквозного решения для анализа данных с выделением элементов Warehouse в компоненте хранения

Работает как традиционное реляционное хранилище данных
Хранит данные в OneLake в открытом формате Delta Lake
Обеспечивает совместимость с другими рабочими нагрузками Fabric
Не требует создания нескольких копий данных

Выбор хранилища данных

Lakehouse
- Неструктурированные данные (файлы)
- Spark как основной интерфейс разработки

Warehouse
- Структурированные данные (таблицы)
- T-SQL как основной интерфейс разработки

Выбор инструмента копирования данных

Таблица с критериями выбора между Pipeline Copy Activity, Dataflow и Spark: объём кода, навыки разработчика, источники данных и сложность преобразований

Выбор инструмента копирования данных

Давайте потренируемся!

Преобразование и анализ данных с Microsoft Fabric