Datenexploration und -transformation

Daten transformieren und analysieren mit Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Szenarien der Datentransformation

Warum müssen wir Daten transformieren?

Falsche Daten aus Quellsystemen entfernen oder bereinigen

Bild einer Datentabelle mit einigen ungültigen Einträgen, rot markiert

Szenarien der Datentransformation

Warum müssen wir Daten transformieren?

Falsche Daten aus Quellsystemen entfernen oder bereinigen.
Datentypen umwandeln, um Konsistenz sicherzustellen.

Bild, das zeigt, wie eine Spalte mit Zahlen als Text in echte Zahlen umgewandelt wird

Szenarien der Datentransformation

Warum müssen wir Daten transformieren?

Falsche Daten aus Quellsystemen entfernen oder bereinigen.
Datentypen umwandeln, um Konsistenz sicherzustellen.
Irrelevante Daten herausfiltern.

Bild, das eine Tabelle vor und nach dem Filtern von Zeilen zeigt, die ein Kriterium nicht erfüllen; hier bleiben nur Datensätze, bei denen ein bestimmtes Feld nicht 'X' ist

Szenarien der Datentransformation

Warum müssen wir Daten transformieren?

Falsche Daten aus Quellsystemen entfernen oder bereinigen.
Datentypen umwandeln, um Konsistenz sicherzustellen.
Irrelevante Daten herausfiltern.
Daten aus mehreren Quellsystemen zusammenführen.

Diagramm, das zeigt, wie zwei Tabellen zu einer zusammengeführt werden -

Szenarien der Datentransformation

Warum müssen wir Daten transformieren?

Falsche Daten aus Quellsystemen entfernen oder bereinigen.
Datentypen umwandeln, um Konsistenz sicherzustellen.
Irrelevante Daten herausfiltern.
Daten aus mehreren Quellsystemen zusammenführen.
Daten in ein format für Analyse und Reporting aufbereiten.

Diagramm, das zeigt, wie eine große Tabelle in ein Star-Schema transformiert wird

Datenbereinigung

Irrelevante Zeilen reduzieren (oberste/unterste Zeilen entfernen)
Duplikate entfernen
Leere Zeilen entfernen
Fehlerhafte Zeilen entfernen
Datentypen umwandeln

Bild einer Quelldatentabelle mit einigen ungültigen Einträgen in Rot und einem Pfeil, der zeigt, wie diese ungültigen Datensätze in der Zieltabelle entfernt werden

Daten filtern

Datensätze eingrenzen
- Nur einen Teil der Daten auswählen
- Datensätze verwerfen, die bestimmte Kriterien nicht erfüllen
Beispiel: SQL-WHERE-Klausel

Screenshot einer Abfrage, die Daten aus der Tabelle Orders auswählt, wenn die Spalte State gleich NY ist

Diagramm, das zeigt, wie aus einer Tabelle alle Zeilen herausgefiltert werden, die nicht zum Bundesstaat NY gehören

Daten mergen und joinen

Zwei oder mehr Datensätze joinen
Nützlich zum Aufbau von Star-Schemata

Diagramm, das das Zusammenführen zweier Tabellen veranschaulicht

Datenaggregation und -deaggregation

Aggregieren: Daten zusammenstellen und zusammenfassen

Tabelle mit Verkaufsaufträgen pro Bundesstaat, aggregiert zu einer neuen Tabelle mit Gesamtanzahl der Aufträge und Gesamtumsatz pro Staat

Deaggregieren: Daten aufteilen, meist eine Spalte in mehrere Spalten

Tabelle mit Filialstandorten, bei der der Ort „city, state" in einer neuen Tabelle auf separate Spalten für city und state aufgeteilt wird

Tools zur Datenexploration und -transformation

Dataflows
Data Wrangler

Zwei Screenshots nebeneinander, die die grafische Oberfläche von Dataflows und Data Wrangler zeigen

Spark-Notebooks
SQL-Skripte

Zwei Screenshots nebeneinander: ein Beispiel für ein Spark-Notebook und ein SQL-Skript

Dataflows

Low-Code-Grafikoberfläche
Bereinigen
Filtern
Aggregieren

Screenshot des Dataflow-Designers mit einigen Beispielabfragen und verfügbaren Transformationsoperationen

Data Wrangler

Notebook-basiertes Tool für explorative Datenanalyse
Datengitter zur Anzeige
Dynamische Kenngrößen
Integrierte Visualisierungen
Bibliothek gängiger Datenbereinigungsaktionen

Screenshot der Data-Wrangler-Oberfläche mit einigen Beispielaktionen

Spark-Notebooks

Vielfalt an Sprachen
Python-Bibliotheken zur Datenmanipulation
- PySpark für große Datensätze
- pandas für kleinere Datensätze

Screenshot eines Spark-Notebooks mit etwas Beispiel-PySpark-Code

SQL-Skripte

T-SQL-Anweisungen zur Datenmanipulation: SELECT, INSERT, UPDATE, DELETE
JOIN zum Zusammenführen von Daten
CAST und CONVERT zur Umwandlung von Datentypen

Screenshot des SQL-Editors mit einer Beispiel-SELECT-Abfrage

Lass uns üben!

Daten transformieren und analysieren mit Microsoft Fabric