Інженерія даних у Microsoft Fabric

Перетворення та аналіз даних у Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Аналітика даних наскрізно

Діаграма, що показує компоненти наскрізного рішення для аналітики даних: джерела, завантаження, підготовка й перетворення, зберігання, запити та візуалізація й аналіз

Завантажте дані з джерела й збережіть у data lake
Підготуйте та перетворіть дані
Візуалізуйте й проаналізуйте дані

Data Factory

Діаграма, що показує компоненти наскрізного рішення для аналітики даних, з акцентом на Data Pipelines у блоці Ingest та Dataflows у блоці Prepare and Transform

Завантаження, підготовка та перетворення даних
Dataflows і Data Pipelines

Dataflows

Інтерфейс low-code для завантаження й перетворення даних
Двигун перетворень Power Query

Знімок конструктора Dataflow із прикладом потоку завантаження

Data Pipelines

Набір дій для виконання завдання
Типи дій:
- Переміщення даних (Copy activity, Dataflow)
- Перетворення даних (Notebook, Stored Procedure, Script)
- Керування (Switch, If, ForEach, Wait)

Знімок конструктора Data Pipeline з прикладом конвеєра завантаження з діями Copy та Dataflow

Synapse Data Engineering

Діаграма, що показує компоненти наскрізного рішення для аналітики даних, з акцентом на елементи Lakehouse у блоці Store та Notebooks і Spark job у блоці Prepare and Transform

Lakehouses
Notebooks
Визначення Apache Spark Job

Lakehouses

Структуровані дані (таблиці)
Неструктуровані дані (файли)

Знімок Lakehouse Explorer у порталі Fabric з Lakehouse, що містить Tables і Files

Notebooks

Інтерактивний вебінтерфейс
- Код для обробки даних
- Візуалізації даних
- Коментарі / пояснення
Підтримка мов:
- PySpark (Python)
- Spark (Scala)
- Spark SQL (SQL)
- SparkR (R)

Знімок редактора Notebook з прикладом ноутбука з текстом, кодом Python і гістограмою

Визначення Apache Spark Job

Надсилайте пакетні/потокові завдання на кластери Spark
Альтернатива або доповнення до Notebooks:
- Notebooks для дослідження даних, прототипування й спільної розробки
- Spark Job Definition для автоматизації промислового коду обробки даних

Знімок визначення Spark Job із параметрами конфігурації

Synapse Data Warehouse

Діаграма, що показує компоненти наскрізного рішення для аналітики даних, з акцентом на елементи Warehouse у блоці Store

Працює як традиційне реляційне сховище даних
Зберігає дані в OneLake у відкритому форматі Delta Lake
Забезпечує сумісність з іншими навантаженнями Fabric
Не потрібно створювати кілька копій даних

Вибір сховища даних

Lakehouse
- Неструктуровані дані (файли)
- Spark як основний інтерфейс розробки

Warehouse
- Структуровані дані (таблиці)
- T-SQL як основний інтерфейс розробки

Вибір інструмента копіювання даних

Таблиця з підсумком аспектів вибору між Pipeline Copy Activity, Dataflow і Spark. Аспекти: обсяг потрібного коду, навички розробника, джерела даних і складність перетворень

Вибір інструмента копіювання даних

Давайте потренуємось!

Перетворення та аналіз даних у Microsoft Fabric