Introducción a los Data Pipelines de Fabric

Ingesta de datos y modelos semánticos con Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Data Pipelines en Microsoft Fabric

Dos funciones principales de alto nivel en Data Factory:

  1. Data Pipelines - Orquestan el movimiento de datos. Data Pipelines
  2. Dataflows - admiten más de 300 transformaciones en la UI. Dataflows

Data Pipelines en Microsoft Fabric:

  • Automatizan ETL con poco o nada de código.
  • Integración fluida de fuentes de datos diversas
  • Conjunto rico de actividades para ingesta y transformación
  • Ejecuta manualmente o programa con disparadores
1 https://learn.microsoft.com/en-us/fabric/data-factory/data-factory-overview
Ingesta de datos y modelos semánticos con Microsoft Fabric

Actividades en Data Pipelines

Las actividades son tareas dentro de los Pipelines que orquestan el procesamiento y la automatización del flujo de trabajo. Línea de montaje de coches que ilustra actividades en un data pipeline

1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Ingesta de datos y modelos semánticos con Microsoft Fabric

Tipos de actividades

  1. Mover y transformar:
    • Gestiona transferencia y transformación de datos
    • (p. ej., Copy data Copy data).
  2. Metadatos y validación:
    • Gestiona controles de calidad y recuperación de metadatos.
    • (p. ej., LookupLookup).
  3. Flujo de control:
    • Controla la secuencia según condiciones y bucles.
    • (p. ej., If condition If condition, ForEach If condition).
1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Ingesta de datos y modelos semánticos con Microsoft Fabric

Tipos de actividades

  1. Orquestar:

    • Sincroniza varios procesos
    • (p. ej., Invoke Pipeline Invoke Pipeline).

  2. Notificaciones:

    • Envía alertas y actualizaciones por email o apps de mensajería
    • (p. ej., 365 Outlook365 Outlook, TeamsTeams).

  3. Transformar:

    • Ejecuta transformaciones según la lógica de negocio.
    • (p. ej., NotebookNotebook, Stored ProcedureStored Procedure).
Ingesta de datos y modelos semánticos con Microsoft Fabric

Parámetros y variables del pipeline

Los parámetros y variables ayudan a controlar y gestionar el comportamiento del pipeline de forma dinámica.

Parámetros:

  • Se definen en ejecución: Ajustan el comportamiento con entradas externas.
  • Ámbito global: Afectan a toda la ejecución del pipeline.

Variables:

  • Seguimiento dinámico: Cambian durante la ejecución.
  • Ámbito local: Gestionan datos dentro de actividades específicas.
1 https://learn.microsoft.com/en-us/fabric/data-factory/parameters 2 https://learn.microsoft.com/en-us/fabric/data-factory/set-variable-activity
Ingesta de datos y modelos semánticos con Microsoft Fabric

Ejecuciones del pipeline

Una ejecución de pipeline ejecuta las actividades hasta completarlas.

  • Bajo demanda: Inicia pipelines desde la UI de Fabric. Ejecución bajo demanda
  • Programada: Inicia la ejecución con una frecuencia específica. Ejecución programada

Supervisión:

  • Sigue y revisa cada ejecución usando su Run ID en la pestaña Monitor.

Validación:

  • Verifica la configuración con la opción Validate antes de ejecutar.
1 https://learn.microsoft.com/en-us/fabric/data-factory/pipeline-runs
Ingesta de datos y modelos semánticos con Microsoft Fabric

¡Vamos a practicar!

Ingesta de datos y modelos semánticos con Microsoft Fabric

Preparing Video For Download...