Otimizando o desempenho do Dataflow

Ingestão de Dados e Modelos Semânticos com Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Staging nos Dataflows Gen2

Mantém dados temporariamente durante a transformação para otimizar o desempenho

  • Artefatos de staging:
    • Armazenamento interno oculto do Lakehouse usado nas transformações
    • Gerenciado automaticamente pelos Dataflows; sem acesso direto do usuário
  • Quando usar staging:
    • Ativado por padrão para melhorar o desempenho do endpoint SQL
    • Desativado para carregamento direto no Lakehouse e fora do warehouse (pode ser reativado)
  • Removendo dados de staging:
    • Desative o staging e atualize (limpa após 30 dias)
    • Exclua o dataflow ou o workspace para remover imediatamente
Ingestão de Dados e Modelos Semânticos com Microsoft Fabric

Acelerando a ingestão com Fast Copy

Recurso de ingestão rápida que escala para grandes conjuntos de dados

  • Arquitetura: Redistribui cargas pesadas do Power Query para um pipeline de alto desempenho, acelerando o processamento
  • Benefício: Reduz o tempo de processamento usando recursos de backend escaláveis para grandes volumes

Arquitetura do Fast Copy no DataFlows Gen2

Ingestão de Dados e Modelos Semânticos com Microsoft Fabric

Otimizando o Fast Copy: pré-requisitos e ajustes-chave

Pré-requisitos:

  • Arquivos: 100 MB+ (CSV/Parquet)
  • Bancos: 5M+ linhas (Azure SQL DB, PostgreSQL)
  • Conectores compatíveis: ADLS Gen2, Blob Storage, SQL DB, Lakehouse, PostgreSQL, SQL Server local, Warehouse, Oracle
  • Transformações compatíveis: Combinar arquivos, Selecionar colunas, Alterar tipos, Renomear/Remover colunas

Exigir opção Fast Copy:

  • Força o uso do Fast Copy; falha imediatamente se não atender aos critérios
  • Evita esperar por processamento mais lento, economizando tempo
Ingestão de Dados e Modelos Semânticos com Microsoft Fabric

Destino padrão no Dataflow Gen2

  • Crie Dataflows independentes para destinos específicos (Lakehouse, Warehouse ou Banco KQL).

  • As configurações de destino predefinidas são aplicadas automaticamente, acelerando o desenvolvimento!

Comportamentos predefinidos: são padrões e não podem ser alterados

  • Lakehouse: Método de atualização Substituir, Esquema dinâmico
  • Warehouse/Banco KQL: Método de atualização Anexar, Esquema fixo

Destino padrão de dados no Dataflows Gen2

Ingestão de Dados e Modelos Semânticos com Microsoft Fabric

Vamos praticar!

Ingestão de Dados e Modelos Semânticos com Microsoft Fabric

Preparing Video For Download...