Introdução aos Dataflows Gen2

Ingestão de Dados e Modelos Semânticos com Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Dataflows Gen2 no Microsoft Fabric

  • O que são os Dataflows Gen2?

    • Ferramenta para transformação e ingestão de dados

    Dataflows Gen 2

  • Principais recursos:

    • Suporta 300+ transformações complexas (ex.: mesclar, pivotar)
    • Esquema flexível para personalização dinâmica
    • Staging e Fast Copy: lida com grandes volumes
    • Integração fluida com Data Pipelines
Ingestão de Dados e Modelos Semânticos com Microsoft Fabric

Visão geral da interface do DataFlows Gen2

O DataFlows Gen2 usa o Power Query Online para uma experiência de transformação intuitiva. Interface do Dataflow Gen 2

Ingestão de Dados e Modelos Semânticos com Microsoft Fabric

Componentes da interface do Dataflow Gen 2

  • Faixa do Power Query - Conectar fontes e aplicar transformações Faixa do Power Query

  • Painel de Consultas: gerenciar, renomear e ativar staging para fontes.

Consultas

Ingestão de Dados e Modelos Semânticos com Microsoft Fabric

Componentes da interface do Dataflow Gen 2

  • Exibição de Diagrama: visualizar fontes e transformações Exibição de Diagrama

  • Painel de Prévia de Dados: pré-visualizar e interagir com os dados

    Painel de Prévia de Dados

Ingestão de Dados e Modelos Semânticos com Microsoft Fabric

Componentes da interface do Dataflow Gen 2

  • Painel Configurações da Consulta: acompanhar e alterar etapas aplicadas

Configurações da consulta

Ingestão de Dados e Modelos Semânticos com Microsoft Fabric

Destinos de dados no DataFlows Gen2

O DataFlow Gen2 permite definir um destino para cada consulta, dando flexibilidade no armazenamento.

Destinos de dados compatíveis:

  • Azure SQL Databases
  • Azure Data Explorer (Kusto)
  • Fabric Lakehouse
  • Fabric Warehouse
  • Fabric KQL Database

Destinos compatíveis para Dataflows Gen2

Ingestão de Dados e Modelos Semânticos com Microsoft Fabric

Integrando Dataflows Gen2 em pipelines de dados

Por que integrar?
Executar mais operações nos dados transformados e automatizar fluxos

atividade de pipeline de dataflow

  • Adicionar Dataflows Gen2 como atividade do pipeline.
  • Ideal para operações extras em dados transformados.
  • Automatizar Dataflows no pipeline.
  • Monitorar desempenho em tempo real.

Integração de DataFlows no Data Pipeline

Ingestão de Dados e Modelos Semânticos com Microsoft Fabric

Vamos praticar!

Ingestão de Dados e Modelos Semânticos com Microsoft Fabric

Preparing Video For Download...