Data Engineering i Microsoft Fabric

Transformera och analysera data med Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Dataanalys från källa till insikt

Diagram som visar komponenterna i en heltäckande dataanalyslösning, inklusive datakällor, inhämtning, förberedelse och transformering, lagring, frågor och visualisering samt analys

Hämta data från källan och lagra den i en datasjö
Förbered och transformera data
Visualisera och analysera data

Data Factory

Diagram som visar komponenterna i en heltäckande dataanalyslösning, med Data Pipelines i Inhämtningskomponenten och Dataflows i komponenten för förberedelse och transformering

Hämta, förbered och transformera data
Dataflows och Data Pipelines

Dataflows

Lågkodsgränssnitt för datainhämtning och -transformering
Power Query-transformeringsmotor

Skärmbild av Dataflow-designern som visar ett exempel på ett inhämtningsflöde

Data Pipelines

Samling aktiviteter som utför en uppgift
Typer av aktiviteter:
- Dataförflyttning (Copy activity, Dataflow)
- Datatransformering (Notebook, Stored Procedure, Script)
- Kontroll (Switch, If, ForEach, Wait)

Skärmbild av Data Pipeline-designern som visar en exempelpipeline med en Copy activity och en Dataflow activity

Synapse Data Engineering

Diagram som visar komponenterna i en heltäckande dataanalyslösning, med Lakehouse-objekt i lagringskomponenten samt Notebooks och Spark-jobb i komponenten för förberedelse och transformering

Lakehouses
Notebooks
Apache Spark Job-definitioner

Lakehouses

Strukturerad data (tabeller)
Ostrukturerad data (filer)

Skärmbild av Lakehouse Explorer i Fabric-portalen, som visar ett Lakehouse med tabeller och filer

Notebooks

Interaktivt webbgränssnitt
- Kod för datahantering
- Datavisualiseringar
- Kommentarer och förklaringar
Stöd för flera språk:
- PySpark (Python)
- Spark (Scala)
- Spark SQL (SQL)
- SparkR (R)

Skärmbild av Notebook-editorn som visar en exempelnotebook med textbeskrivningar, Python-kod och ett histogram

Apache Spark Job Definitions

Skicka batch- och streamingjobb till Spark-kluster
Alternativ eller komplement till Notebooks:
- Notebooks för datautforskning, prototypframtagning och samarbete
- Spark Job Definition för automatisering av produktionsklar databehandlingskod

Skärmbild av en Spark Job-definition som visar konfigurationsparametrar

Synapse Data Warehouse

Diagram som visar komponenterna i en heltäckande dataanalyslösning, med Warehouse-objekt markerade i lagringskomponenten

Fungerar som ett traditionellt relationsdatalager
Lagrar data i OneLake med det öppna Delta Lake-formatet
Möjliggör samverkan med andra Fabric-arbetsbelastningar
Inget behov av att skapa flera datakopior

Välja datalager

Lakehouse
- Ostrukturerad data (filer)
- Spark som primärt utvecklingsgränssnitt

Warehouse
- Strukturerad data (tabeller)
- T-SQL som primärt utvecklingsgränssnitt

Välja datakopieringsverktyg

Table summarizing some aspects to consider when choosing between Pipeline Copy Activity, Dataflow, and Spark. Aspects include Amount of code required, developer skills, data sources and transformation complexity

Välja datakopieringsverktyg

Tabell som sammanfattar faktorer att beakta när du väljer mellan Pipeline Copy Activity, Dataflow och Spark. Faktorer inkluderar kodmängd, utvecklarkompetens, datakällor och transformeringskomplexitet

Välja datakopieringsverktyg

Nu kör vi en övning!

Transformera och analysera data med Microsoft Fabric