Data Engineering in Microsoft Fabric

Daten transformieren und analysieren mit Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Data Analytics End-to-End

Diagramm mit den Komponenten einer End-to-End-Data-Analytics-Lösung, darunter Datenquellen, Erfassung, Aufbereiten und Transformieren, Speichern, Abfragen sowie Visualisieren und Analysieren

Daten aus der Quelle erfassen und in einem Data Lake speichern
Daten aufbereiten und transformieren
Daten visualisieren und analysieren

Data Factory

Diagramm mit den Komponenten einer End-to-End-Data-Analytics-Lösung, mit Hervorhebung von Data Pipelines in der Komponente „Erfassung" und Dataflows in „Aufbereiten und Transformieren"

Daten erfassen, aufbereiten und transformieren
Dataflows und Data Pipelines

Dataflows

Low-Code-Oberfläche für Datenerfassung und -transformation
Power Query-Transformationsengine

Screenshot des Dataflow-Designers mit einem Beispiel-Ingestion-Dataflow

Data Pipelines

Sammlung von Aktivitäten, die eine Aufgabe ausführen
Arten von Aktivitäten:
- Datenbewegung (Copy Activity, Dataflow)
- Datentransformation (Notebook, Stored Procedure, Script)
- Steuerung (Switch, If, ForEach, Wait)

Screenshot des Data-Pipeline-Designers mit einer Beispiel-Ingestion-Pipeline mit einer Copy-Aktivität und einer Dataflow-Aktivität

Synapse Data Engineering

Diagramm mit den Komponenten einer End-to-End-Data-Analytics-Lösung, mit Hervorhebung von Lakehouse-Elementen in „Speichern" sowie Notebooks und Spark-Job in „Aufbereiten und Transformieren"

Lakehouses
Notebooks
Apache Spark-Jobdefinitionen

Lakehouses

Strukturierte Daten (Tabellen)
Unstrukturierte Daten (Dateien)

Screenshot des Lakehouse Explorers im Fabric-Portal mit einem Lakehouse mit „Tables" und „Files"

Notebooks

Interaktive Weboberfläche
- Code zur Datenverarbeitung
- Datenvisualisierungen
- Kommentare/Erklärungen
Mehrsprachige Unterstützung:
- PySpark (Python)
- Spark (Scala)
- Spark SQL (SQL)
- SparkR (R)

Screenshot des Notebook-Editors mit einem Beispiel-Notebook mit Textbeschreibungen, Python-Code und einem Histogramm

Apache Spark-Jobdefinitionen

Batch-/Streaming-Jobs an Spark-Cluster senden
Alternative oder Ergänzung zu Notebooks:
- Notebooks für Datenexploration, Prototyping und kollaborative Entwicklung
- Spark-Jobdefinition zur Automatisierung produktionsreifer Datenverarbeitung

Screenshot einer Spark-Jobdefinition mit Konfigurationsparametern

Synapse Data Warehouse

Diagramm mit den Komponenten einer End-to-End-Data-Analytics-Lösung, mit Hervorhebung der Warehouse-Elemente in der Komponente „Speichern"

Verhält sich wie ein klassisches relationales Data Warehouse
Speichert Daten in OneLake im offenen Delta-Lake-Format
Ermöglicht Interoperabilität mit anderen Fabric-Workloads
Keine mehrfachen Datenkopien nötig

Das richtige Datenspeicher wählen

Lakehouse
- Unstrukturierte Daten (Dateien)
- Spark als primäre Entwicklungsoberfläche

Warehouse
- Strukturierte Daten (Tabellen)
- T-SQL als primäre Entwicklungsoberfläche

Ein Tool zum Datenkopieren wählen

Tabelle mit einer Zusammenfassung von Aspekten zur Wahl zwischen Pipeline Copy Activity, Dataflow und Spark. Aspekte: Menge an Code, Entwicklerkompetenzen, Datenquellen und Transformationskomplexität

Ein Tool zum Datenkopieren wählen

Lass uns üben!

Daten transformieren und analysieren mit Microsoft Fabric