Data Engineering în Microsoft Fabric

Transformă și analizează date cu Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Analiză de date end-to-end

Diagramă a componentelor unei soluții end-to-end de analiză a datelor, incluzând surse de date, ingestie, pregătire și transformare, stocare, interogare și vizualizare și analiză

Ingestia datelor din surse și stocarea în data lake
Pregătirea și transformarea datelor
Vizualizarea și analiza datelor

Data Factory

Diagramă a componentelor unei soluții end-to-end de analiză a datelor, evidențiind Data Pipelines în componenta Ingest și Dataflows în componenta Prepare and Transform

Ingestia, pregătirea și transformarea datelor
Dataflows și Data Pipelines

Dataflows

Interfață low-code pentru ingestia și transformarea datelor
Motor de transformare Power Query

Captură de ecran a designerului Dataflow prezentând un dataflow de ingestie exemplu

Data Pipelines

Colecție de activități care realizează o sarcină
Tipuri de activități:
- Mișcare date (activitate Copy, Dataflow)
- Transformare date (Notebook, Stored Procedure, Script)
- Control (Switch, If, ForEach, Wait)

Captură de ecran a designerului Data Pipeline, prezentând un pipeline de ingestie cu o activitate Copy și o activitate Dataflow

Synapse Data Engineering

Diagramă a componentelor unei soluții end-to-end de analiză a datelor, evidențiind elementele Lakehouse în componenta Store și Notebooks și Spark job în componenta Prepare and Transform

Lakehouses
Notebooks
Definiții Apache Spark Job

Lakehouses

Date structurate (tabele)
Date nestructurate (fișiere)

Captură de ecran a Lakehouse Explorer în portalul Fabric, prezentând un Lakehouse cu tabele și fișiere

Notebooks

Interfață web interactivă
- Cod de manipulare a datelor
- Vizualizări de date
- Comentarii / Explicații
Suport multi-limbaj:
- PySpark (Python)
- Spark (Scala)
- Spark SQL (SQL)
- SparkR (R)

Captură de ecran a editorului Notebook, prezentând un notebook cu descrieri text, cod Python și o diagramă histogramă

Definiții Apache Spark Job

Trimitere joburi batch/streaming către clustere Spark
Alternativă sau complement la Notebooks:
- Notebooks pentru explorarea, prototiparea și dezvoltarea colaborativă a datelor
- Spark Job Definition pentru automatizarea codului de procesare pregătit pentru producție

Captură de ecran a unei definiții Spark Job cu parametri de configurare

Synapse Data Warehouse

Diagramă a componentelor unei soluții end-to-end de analiză a datelor, evidențiind elementele Warehouse în componenta Store

Funcționează ca un depozit de date relațional tradițional
Stochează date în OneLake folosind formatul deschis Delta Lake
Permite interoperabilitatea cu alte sarcini de lucru Fabric
Nu necesită crearea mai multor copii ale datelor

Alegerea unui spațiu de stocare

Lakehouse
- Date nestructurate (fișiere)
- Spark ca interfață principală de dezvoltare

Warehouse
- Date structurate (tabele)
- T-SQL ca interfață principală de dezvoltare

Alegerea unui instrument de copiere a datelor

Tabel cu aspecte de luat în considerare la alegerea între Pipeline Copy Activity, Dataflow și Spark. Aspectele includ cantitatea de cod necesară, competențele dezvoltatorului, sursele de date și complexitatea transformărilor

Alegerea unui instrument de copiere a datelor

Să exersăm!

Transformă și analizează date cu Microsoft Fabric