Introducere în Data Pipelines Fabric

Ingestia datelor și Modele Semantice cu Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Data Pipelines în Microsoft Fabric

Două funcționalități principale în Data Factory:

  1. Data Pipelines - Orchestrează mișcarea datelor. Data Pipelines
  2. Dataflows - Suportă peste 300 de transformări de date prin interfață vizuală. Dataflows

Data Pipelines în Microsoft Fabric:

  • Automatizează procesul ETL cu cod minim sau fără cod.
  • Integrare simplă a surselor de date diverse
  • Set bogat de activități pentru ingestie și transformare
  • Rulare manuală sau programată cu declanșatoare
1 https://learn.microsoft.com/en-us/fabric/data-factory/data-factory-overview
Ingestia datelor și Modele Semantice cu Microsoft Fabric

Activități în Data Pipelines

Activitățile sunt sarcini în cadrul pipeline-urilor, orchestrând procesarea datelor și automatizarea fluxurilor. Linie de asamblare auto ilustrând activitățile dintr-un pipeline de date

1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Ingestia datelor și Modele Semantice cu Microsoft Fabric

Tipuri de activități

  1. Mutare și transformare:
    • Gestionează transferul și transformarea datelor
    • (ex., Copy data Copy data).
  2. Metadate și validare:
    • Gestionează verificările de calitate și recuperarea metadatelor.
    • (ex., LookupLookup).
  3. Control al fluxului:
    • Controlează secvența sarcinilor pe baza condițiilor și buclelor.
    • (ex., If condition If condition, ForEach If condition).
1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Ingestia datelor și Modele Semantice cu Microsoft Fabric

Tipuri de activități

  1. Orchestrare:

    • Sincronizarea mai multor procese
    • (ex., Invoke Pipeline Invoke Pipeline).

  2. Notificări:

    • Trimite alerte prin e-mail sau instrumente de mesagerie
    • (ex., 365 Outlook365 Outlook, TeamsTeams).

  3. Transformare:

    • Execută manipulări de date conform logicii de afaceri.
    • (ex., NotebookNotebook, Stored ProcedureStored Procedure).
Ingestia datelor și Modele Semantice cu Microsoft Fabric

Parametri și variabile în pipeline

Parametrii și variabilele controlează dinamic comportamentul pipeline-ului.

Parametri:

  • Setați la execuție: Ajustează comportamentul folosind intrări externe.
  • Domeniu global: Influențează întreaga execuție a pipeline-ului.

Variabile:

  • Urmărire dinamică: Modifică valori în timpul execuției.
  • Domeniu local: Gestionează date în activitățile specifice ale pipeline-ului.
1 https://learn.microsoft.com/en-us/fabric/data-factory/parameters 2 https://learn.microsoft.com/en-us/fabric/data-factory/set-variable-activity
Ingestia datelor și Modele Semantice cu Microsoft Fabric

Rulări de pipeline

O rulare de pipeline execută activitățile până la finalizare.

  • La cerere: Pornire directă din interfața Fabric. Rulare la cerere
  • Programată: Pornire la o frecvență specificată. Rulare programată

Monitorizare:

  • Urmăriți fiecare rulare folosind ID-ul unic Run ID din fila Monitor.

Validare:

  • Verificați configurația pipeline-ului cu opțiunea Validate înainte de execuție.
1 https://learn.microsoft.com/en-us/fabric/data-factory/pipeline-runs
Ingestia datelor și Modele Semantice cu Microsoft Fabric

Să exersăm!

Ingestia datelor și Modele Semantice cu Microsoft Fabric

Preparing Video For Download...