Introductie tot Fabric-gegevenspijplijnen

Gegevensinname en semantische modellen met Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Data Pipelines in Microsoft Fabric

Twee hoofdfeatures in Data Factory:

  1. Data Pipelines - Orchestreren dataverplaatsing. Data Pipelines
  2. Dataflows - ondersteunt 300+ UI-gebaseerde datatransformaties. Dataflows

Data Pipelines in Microsoft Fabric:

  • Automatiseert ETL met weinig of geen code.
  • Naadloze integratie van diverse databronnen
  • Rijke set activiteiten voor data-inname en transformatie
  • Voer pijplijnen handmatig uit of plan ze met triggers
1 https://learn.microsoft.com/en-us/fabric/data-factory/data-factory-overview
Gegevensinname en semantische modellen met Microsoft Fabric

Activiteiten in datapijplijnen

Activiteiten zijn taken binnen pijplijnen die dataprocestaken en workflow-automatisering orkestreren. Productielijn voor auto's die activiteiten in een datapijplijn illustreren

1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Gegevensinname en semantische modellen met Microsoft Fabric

Type activiteiten

  1. Verplaatsen & transformeren:
    • Verzorgt datatransfer en transformaties
    • (bijv. Copy data Copy data).
  2. Metadata & validatie:
    • Voert datakwaliteitschecks uit en haalt metadata op.
    • (bijv. LookupLookup).
  3. Controlflow:
    • Bepaalt taakvolgorde op basis van condities en lussen.
    • (bijv. If condition If condition, ForEach If condition).
1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Gegevensinname en semantische modellen met Microsoft Fabric

Type activiteiten

  1. Orchestreren:

    • Synchroniseer meerdere processen
    • (bijv. Invoke Pipeline Invoke Pipeline).

  2. Meldingen:

    • Stuurt alerts en updates via e-mail of messagingtools
    • (bijv. 365 Outlook365 Outlook, TeamsTeams).

  3. Transformeren:

    • Voer datamanipulaties uit volgens de businesslogica.
    • (bijv. NotebookNotebook, Stored ProcedureStored Procedure).
Gegevensinname en semantische modellen met Microsoft Fabric

Pijplijnparameters en -variabelen

Parameters en variabelen sturen het pijplijngedrag dynamisch aan.

Parameters:

  • Ingesteld bij runtime: Pas pijplijngedrag aan met externe input.
  • Globale scope: Beïnvloedt de hele pijplijnuitvoering.

Variabelen:

  • Dynamische tracking: Waarden wijzigen tijdens uitvoering.
  • Lokale scope: Beheer data binnen specifieke pijplijnactiviteiten.
1 https://learn.microsoft.com/en-us/fabric/data-factory/parameters 2 https://learn.microsoft.com/en-us/fabric/data-factory/set-variable-activity
Gegevensinname en semantische modellen met Microsoft Fabric

Pijplijnruns

Een pijplijnrun voert de activiteiten in je pijplijn volledig uit.

  • On-demand: Start pijplijnen direct vanuit de Fabric-UI. On-Demand Run
  • Gepland: Start op een opgegeven frequentie. Scheduled Run

Monitoring:

  • Volg elke run via de unieke Run ID op het tabblad Monitor.

Validatie:

  • Controleer je pijplijnconfiguratie met Validate vóór uitvoering.
1 https://learn.microsoft.com/en-us/fabric/data-factory/pipeline-runs
Gegevensinname en semantische modellen met Microsoft Fabric

Laten we oefenen!

Gegevensinname en semantische modellen met Microsoft Fabric

Preparing Video For Download...