Introduzione alle pipeline dati in Fabric

Acquisizione dei dati e modelli semantici con Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Data Pipelines in Microsoft Fabric

Due funzionalità principali in Data Factory:

  1. Data Pipelines - Orchestrano lo spostamento dei dati. Data Pipelines
  2. Dataflows - supportano oltre 300 trasformazioni via UI. Dataflows

Data Pipelines in Microsoft Fabric:

  • Automatizzano l’ETL con poco o nessun codice.
  • Integrazione fluida di sorgenti eterogenee
  • Ampio set di attività per ingestione e trasformazione
  • Esegui manualmente o pianifica con trigger
1 https://learn.microsoft.com/en-us/fabric/data-factory/data-factory-overview
Acquisizione dei dati e modelli semantici con Microsoft Fabric

Attività nelle pipeline dati

Le attività sono task nelle pipeline: orchestrano l’elaborazione dei dati e l’automazione del workflow. Catena di montaggio auto che illustra le attività in una pipeline dati

1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Acquisizione dei dati e modelli semantici con Microsoft Fabric

Tipi di attività

  1. Spostamento e trasformazione:
    • Gestisce trasferimento e trasformazioni dati
    • (es. Copy data Copy data).
  2. Metadati e validazione:
    • Gestisce controlli qualità e recupero metadati.
    • (es. LookupLookup).
  3. Flusso di controllo:
    • Controlla la sequenza con condizioni e loop.
    • (es. If condition If condition, ForEach If condition).
1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Acquisizione dei dati e modelli semantici con Microsoft Fabric

Tipi di attività

  1. Orchestrazione:

    • Sincronizza più processi
    • (es. Invoke Pipeline Invoke Pipeline).

  2. Notifiche:

    • Invia avvisi e aggiornamenti via email o chat
    • (es. 365 Outlook365 Outlook, TeamsTeams).

  3. Trasformazione:

    • Esegue manipolazioni dei dati secondo la logica di business.
    • (es. NotebookNotebook, Stored ProcedureStored Procedure).
Acquisizione dei dati e modelli semantici con Microsoft Fabric

Parametri e variabili della pipeline

Parametri e Variabili aiutano a controllare il comportamento della pipeline in modo dinamico.

Parametri:

  • Impostati a runtime: Modificano il comportamento con input esterni.
  • Ambito globale: Influenzano l’intera esecuzione.

Variabili:

  • Tracciamento dinamico: Cambiano durante l’esecuzione della pipeline.
  • Ambito locale: Gestiscono dati in attività specifiche.
1 https://learn.microsoft.com/en-us/fabric/data-factory/parameters 2 https://learn.microsoft.com/en-us/fabric/data-factory/set-variable-activity
Acquisizione dei dati e modelli semantici con Microsoft Fabric

Esecuzioni di pipeline

Un’esecuzione di pipeline avvia le attività fino al completamento.

  • On-demand: Avvia direttamente dalla UI di Fabric. Esecuzione on-demand
  • Pianificata: Parte a una frequenza specifica. Esecuzione pianificata

Monitoraggio:

  • Traccia e rivedi ogni esecuzione con il suo Run ID nella scheda Monitor.

Validazione:

  • Verifica la configurazione con Validate prima dell’esecuzione.
1 https://learn.microsoft.com/en-us/fabric/data-factory/pipeline-runs
Acquisizione dei dati e modelli semantici con Microsoft Fabric

Ayo berlatih!

Acquisizione dei dati e modelli semantici con Microsoft Fabric

Preparing Video For Download...