Introduktion till datapipelines i Fabric

Datainmatning och semantiska modeller med Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Datapipelines i Microsoft Fabric

Två huvudfunktioner i Data Factory:

  1. Datapipelines – Orkestrera dataförflyttning. Datapipelines
  2. Dataflöden – Stöder UI-baserade 300+ datatransformationer. Dataflöden

Datapipelines i Microsoft Fabric:

  • Automatiserar ETL-processen med minimal eller ingen kod.
  • Stöder smidig integration av olika datakällor
  • Rika aktiviteter för datainmatning och transformering
  • Kör pipelines manuellt eller schemalägg dem med utlösare
1 https://learn.microsoft.com/en-us/fabric/data-factory/data-factory-overview
Datainmatning och semantiska modeller med Microsoft Fabric

Aktiviteter i datapipelines

Aktiviteter är uppgifter i pipelines som orkestrerar databearbetning och arbetsflödesautomation. Bilmonteringslinje som illustrerar aktiviteter i en datapipeline

1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Datainmatning och semantiska modeller med Microsoft Fabric

Typer av aktiviteter

  1. Flytta & transformera:
    • Hanterar dataöverföring och transformering
    • (t.ex. Kopiera data Kopiera data).
  2. Metadata & validering:
    • Hanterar datakvalitetskontroller och metadatahämtning.
    • (t.ex. LookupLookup).
  3. Kontrollflöde:
    • Styr uppgiftsordningen baserat på villkor och loopar.
    • (t.ex. If condition If condition, ForEach If condition).
1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Datainmatning och semantiska modeller med Microsoft Fabric

Typer av aktiviteter

  1. Orkestrera:

    • Synkronisera flera processer
    • (t.ex. Anropa pipeline Anropa pipeline).

  2. Notifieringar:

    • Skickar aviseringar via e-post eller meddelandeverktyg
    • (t.ex. 365 Outlook365 Outlook, TeamsTeams).

  3. Transformera:

    • Utför datamanipulationer enligt affärslogiken.
    • (t.ex. NotebookNotebook, Stored ProcedureStored Procedure).
Datainmatning och semantiska modeller med Microsoft Fabric

Pipelineparametrar och variabler

Parametrar och variabler styr och hanterar pipelinebeteendet dynamiskt.

Parametrar:

  • Anges vid körning: Justera pipelinebeteendet med externa indata.
  • Globalt omfång: Påverkar hela pipelinekörningen.

Variabler:

  • Dynamisk spårning: Ändrar värden under pipelinekörningen.
  • Lokalt omfång: Hanterar data inom specifika pipelineaktiviteter.
1 https://learn.microsoft.com/en-us/fabric/data-factory/parameters 2 https://learn.microsoft.com/en-us/fabric/data-factory/set-variable-activity
Datainmatning och semantiska modeller med Microsoft Fabric

Pipelinekörningar

En pipelinekörning utför alla aktiviteter i din pipeline till slut.

  • On-demand: Starta pipelines direkt från Fabric UI. On-demand-körning
  • Schemalagd: Startar körningen vid en angiven frekvens. Schemalagd körning

Övervakning:

  • Följ upp varje pipelinekörning med dess unika körnings-ID på fliken Övervaka.

Validering:

  • Kontrollera att pipelinekonfigurationen är korrekt med alternativet Validera innan körning.
1 https://learn.microsoft.com/en-us/fabric/data-factory/pipeline-runs
Datainmatning och semantiska modeller med Microsoft Fabric

Nu kör vi en övning!

Datainmatning och semantiska modeller med Microsoft Fabric

Preparing Video For Download...