Introdução a Pipelines de Dados no Fabric
Ingestão de Dados e Modelos Semânticos com Microsoft Fabric
Alex Kuntz
Head of Cloud Curriculum, DataCamp
Data Pipelines no Microsoft Fabric
Dois recursos principais no Data Factory:
- Data Pipelines - Orquestra a movimentação de dados.
- Dataflows - oferece 300+ transformações via UI.
Data Pipelines no Microsoft Fabric:
- Automatiza ETL com pouco ou nenhum código.
- Integra fontes de dados diversas sem atrito
- Conjunto rico de atividades para ingestão e transformação
- Execute manualmente ou agende com gatilhos
1 https://learn.microsoft.com/en-us/fabric/data-factory/data-factory-overview
Atividades em Data Pipelines
Atividades são tarefas nos Pipelines que orquestram o processamento de dados e a automação do fluxo de trabalho.
1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Tipos de atividades
- Mover e transformar:
- Cuida da transferência e transformação de dados
- (ex.: Copy data
).
- Metadados e validação:
- Faz checagens de qualidade e busca metadados.
- (ex.: Lookup
).
- Fluxo de controle:
- Controla a sequência com condições e loops.
- (ex.: If condition
, ForEach 
).
1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Tipos de atividades
Orquestrar:
- Sincronizar vários processos
- (ex.: Invoke Pipeline
).
Notificações:
- Envia alertas e atualizações por e-mail ou mensageria
- (ex.: 365 Outlook
, Teams
).
Transformar:
- Executa manipulações conforme a lógica de negócio.
- (ex.: Notebook
, Stored Procedure
).
Execuções de pipeline
Uma execução de pipeline roda as atividades até concluir.
- Sob demanda: Inicie direto na interface do Fabric.
- Agendada: Inicia em uma frequência definida.
Monitoramento:
- Acompanhe cada execução pelo Run ID na guia Monitor.
Validação:
- Verifique a configuração com Validate antes de executar.
1 https://learn.microsoft.com/en-us/fabric/data-factory/pipeline-runs
