Einführung in Fabric Data Pipelines

Datenaufnahme und Semantische Modelle mit Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Data Pipelines in Microsoft Fabric

Zwei zentrale Hauptfunktionen in Data Factory:

  1. Data Pipelines – Orchestriert Datenbewegung. Data Pipelines
  2. Dataflows – unterstützt über 300 UI-basierte Transformationen. Dataflows

Data Pipelines in Microsoft Fabric:

  • Automatisiert ETL mit wenig oder keinem Code.
  • Nahtlose Integration vielfältiger Datenquellen
  • Umfangreiche Aktivitäten für Ingestion und Transformation
  • Manuell ausführen oder per Trigger planen
1 https://learn.microsoft.com/en-us/fabric/data-factory/data-factory-overview
Datenaufnahme und Semantische Modelle mit Microsoft Fabric

Aktivitäten in Data Pipelines

Aktivitäten sind Aufgaben in Pipelines und steuern Datenverarbeitung und Workflow-Automatisierung. Automobil-Montagelinie als Illustration von Aktivitäten in einer Data Pipeline

1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Datenaufnahme und Semantische Modelle mit Microsoft Fabric

Arten von Aktivitäten

  1. Bewegen & Transformieren:
    • Kümmert sich um Datentransfer und -transformation
    • (z. B. Copy data Copy data).
  2. Metadaten & Validierung:
    • Führt Qualitätsprüfungen aus und liest Metadaten.
    • (z. B. LookupLookup).
  3. Steuerfluss:
    • Steuert die Abfolge per Bedingungen und Schleifen.
    • (z. B. If condition If condition, ForEach If condition).
1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Datenaufnahme und Semantische Modelle mit Microsoft Fabric

Arten von Aktivitäten

  1. Orchestrieren:

    • Mehrere Prozesse synchronisieren
    • (z. B. Invoke Pipeline Invoke Pipeline).

  2. Benachrichtigungen:

    • Sendet Alarme und Updates per E-Mail oder Messaging-Tools
    • (z. B. 365 Outlook365 Outlook, TeamsTeams).

  3. Transformieren:

    • Daten gemäß Business-Logik verarbeiten.
    • (z. B. NotebookNotebook, Stored ProcedureStored Procedure).
Datenaufnahme und Semantische Modelle mit Microsoft Fabric

Pipeline-Parameter und -Variablen

Parameter und Variablen steuern und verwalten das Pipeline-Verhalten dynamisch.

Parameter:

  • Zur Laufzeit gesetzt: Pipeline-Verhalten mit externen Eingaben steuern.
  • Globaler Geltungsbereich: Wirken auf die gesamte Pipeline-Ausführung.

Variablen:

  • Dynamisches Tracking: Werte während der Ausführung ändern.
  • Lokaler Geltungsbereich: Daten in bestimmten Aktivitäten verwalten.
1 https://learn.microsoft.com/en-us/fabric/data-factory/parameters 2 https://learn.microsoft.com/en-us/fabric/data-factory/set-variable-activity
Datenaufnahme und Semantische Modelle mit Microsoft Fabric

Pipeline-Läufe

Ein Pipeline-Lauf führt die Aktivitäten bis zum Abschluss aus.

  • On-Demand: Pipelines direkt in der Fabric-UI starten. On-Demand-Run
  • Geplant: Startet zu einer festgelegten Frequenz. Scheduled Run

Überwachung:

  • Jeden Lauf über die eindeutige Run-ID im Monitor-Tab nachverfolgen und prüfen.

Validierung:

  • Mit „Validate“ die Pipeline-Konfiguration vor dem Ausführen prüfen.
1 https://learn.microsoft.com/en-us/fabric/data-factory/pipeline-runs
Datenaufnahme und Semantische Modelle mit Microsoft Fabric

Lass uns üben!

Datenaufnahme und Semantische Modelle mit Microsoft Fabric

Preparing Video For Download...