Exploração e transformação de dados

Transforme e analise dados com o Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Cenários de transformação de dados

Por que transformar os dados?

Remover ou limpar dados incorretos dos sistemas de origem

Imagem de uma tabela de dados com algumas entradas inválidas destacadas em vermelho

Cenários de transformação de dados

Por que transformar os dados?

Remover ou limpar dados incorretos dos sistemas de origem.
Converter tipos de dados para garantir consistência.

Imagem representando uma coluna de dados armazenando números como texto sendo convertida para números de fato

Cenários de transformação de dados

Por que transformar os dados?

Remover ou limpar dados incorretos dos sistemas de origem.
Converter tipos de dados para garantir consistência.
Filtrar dados irrelevantes.

Imagem que mostra uma tabela antes e depois de filtrar linhas que não atendem a um critério; neste caso, mantendo apenas registros em que um campo não é igual a 'X'

Cenários de transformação de dados

Por que transformar os dados?

Remover ou limpar dados incorretos dos sistemas de origem.
Converter tipos de dados para garantir consistência.
Filtrar dados irrelevantes.
Combinar dados de múltiplos sistemas de origem.

Diagrama representando duas tabelas que são combinadas em uma -

Cenários de transformação de dados

Por que transformar os dados?

Remover ou limpar dados incorretos dos sistemas de origem.
Converter tipos de dados para garantir consistência.
Filtrar dados irrelevantes.
Combinar dados de múltiplos sistemas de origem.
Colocar os dados em um formato mais adequado para análise e relatórios.

Diagrama representando uma grande tabela que é transformada em um esquema em estrela

Limpeza de dados

Reduzir linhas irrelevantes (remover linhas do topo e do final)
Remover duplicatas
Remover linhas em branco
Remover linhas com erro
Converter tipos de dados

Imagem de uma tabela de origem com entradas inválidas destacadas em vermelho e uma seta indicando como esses registros inválidos são removidos na tabela de destino

Filtragem de dados

Reduzir o escopo dos conjuntos de dados
- Selecionar apenas um subconjunto dos dados
- Descartar registros que não atendem a certos critérios
Exemplo: cláusula SQL WHERE

Captura de tela de uma consulta que seleciona dados da tabela Orders onde a coluna State é igual a NY

Diagrama que mostra uma tabela filtrando qualquer linha não relacionada ao estado de NY

Junção e mesclagem de dados

Fazer JOIN de dois ou mais conjuntos de dados
Útil para construir esquemas em estrela

Diagrama ilustrando a junção de duas tabelas

Agregação e desagregação de dados

Agregar: compilar e resumir dados

Tabela com pedidos por estado agregados em uma nova tabela com o total de pedidos e o valor total de vendas por estado

Desagregar: dividir dados, geralmente uma coluna em várias colunas

Tabela com localizações de filiais onde a localização tem cidade e estado desagregada em uma nova tabela onde cidade e estado estão em colunas separadas

Ferramentas de exploração e transformação de dados

Dataflows
Data Wrangler

Duas capturas de tela lado a lado, mostrando a interface gráfica de dataflows e data wrangler

Notebooks Spark
Scripts SQL

Duas capturas de tela lado a lado, mostrando um exemplo de notebook Spark e um script SQL

Dataflows

Interface gráfica low-code
Limpeza
Filtragem
Agregação

Captura de tela do designer de Dataflow com algumas consultas de exemplo e mostrando operações de transformação disponíveis

Data Wrangler

Ferramenta baseada em notebook para análise exploratória
Grade de exibição de dados
Estatísticas resumo dinâmicas
Visualizações integradas
Biblioteca de operações comuns de limpeza

Captura de tela da interface do Data Wrangler mostrando algumas operações de exemplo

Notebooks Spark

Variedade de linguagens
Bibliotecas Python para manipulação de dados
- PySpark para grandes conjuntos de dados
- pandas para conjuntos menores

Captura de tela de um notebook Spark com código PySpark de exemplo

Scripts SQL

Instruções T-SQL para manipulação de dados: SELECT, INSERT, UPDATE, DELETE
JOIN para unir dados
CAST e CONVERT para converter tipos

Captura de tela do editor SQL com uma consulta SELECT de exemplo

Vamos praticar!

Transforme e analise dados com o Microsoft Fabric