Implementar melhorias de desempenho

Transforme e analise dados com o Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Estratégias de otimização

• Otimize o design dos itens do Fabric
• Scale up
• Scale out

Otimização de SQL

• Limite as consultas apenas às colunas e operações necessárias

Otimização de SQL

• Limite as consultas apenas às colunas e operações necessárias
• Use os menores tipos de dados possíveis

Otimização de SQL

• Limite as consultas apenas às colunas e operações necessárias
• Use os menores tipos de dados possíveis
• Use o design em estrela (star schema)

Otimização de SQL

• Limite as consultas apenas às colunas e operações necessárias
• Use os menores tipos de dados possíveis
• Use o design em estrela (star schema)
• Use visões de sistema para monitorar o uso de consultas

SELECT *
FROM sys.dm_exec_requests;

Otimização de Notebooks

• Aproveite o Spark History Server

Otimização de Notebooks

• Aproveite o Spark History Server
• Pare sessões ativas do Spark quando não estiver usando

Otimização de Notebooks

• Aproveite o Spark History Server
• Pare sessões ativas do Spark quando não estiver usando
• Ao fazer joins, reduza os dados em memória antes de executar o join

Otimização de dataflows

• Minimize operações caras como ordenação

Otimização de dataflows

• Minimize operações caras como ordenação
• Query folding
  • Desloque o processamento para a fonte de dados

Otimização de dataflows

• Minimize operações caras como ordenação
• Query folding
  • Desloque o processamento para a fonte de dados
• Staging On/Off
  • Desabilite para cargas pequenas ou transformações simples
  • Habilite para cargas grandes ou transformações complexas

Scale Up

• Aumente o tamanho da SKU
• SKU maior = mais capacidade de computação

v

Scale Up

Exemplo: fazer scale up de F64 (8 v-cores) para F128 (16 v-cores)

Scale Out

• Mova alguns itens para outra capacidade do Fabric.
• Isole cargas de trabalho
  • Produção vs. não produção
  • Áreas diferentes do negócio, por exemplo, uma capacidade separada para relatórios executivos

Scale Out

Vamos praticar!

Transforme e analise dados com o Microsoft Fabric