Agregação de dados

Transforme e analise dados com o Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Quando você deve agregar dados?

Reduza o número de linhas de um conjunto de dados usando funções de agregação para gerar resumos.
- Contar
- Resumir
- Média
- Máximo
- Mínimo

Quando você deve agregar dados?

Reduza o número de linhas de um conjunto de dados usando funções de agregação para gerar resumos.
- Contar
- Resumir
- Média
- Máximo
- Mínimo

Tabela com pedidos por estado agregada em uma nova tabela com total de pedidos e valor total por estado

Ferramentas para implementar agregação de dados

Ícones representando três ferramentas: SQL, Spark e Dataflows

Agregando dados com SQL

Funções de agregação SQL comuns:
- SUM()
- COUNT()
- AVG()
- MIN()
- MAX()
Geralmente usadas com GROUP BY
Funções estatísticas
- STDEV()
- VAR()

SELECT
  <unaggregated columns>,
  function(<aggregated column>)
FROM 
  <table>
GROUP BY 
  <unaggregated columns>;

Agregando dados com SQL

SELECT 
  [State], 
  COUNT([Order_ID]) AS [Num Orders], 
  SUM([Order_Amount]) AS [Total Amount]
FROM 
  [tbl_Orders]
GROUP BY 
  [State]

Tabela com pedidos por estado agregada em uma nova tabela com total de pedidos e valor total por estado

Agregando dados com Spark

Funções de agregação do PySpark mais comuns:
- sum()
- count()
- avg()
- min() e max()
- first() e last()
Funções estatísticas
- stdev()
- variance()
Usadas com groupBy() e agg()

df.groupBy(<unaggregated columns>)
.agg(function(<aggregated column>))

Agregando dados com Spark

Tabela com pedidos por estado agregada em uma nova tabela com total de pedidos e valor total por estado

from pyspark.sql.functions import sum

df.groupBy("state").agg(count("order_id"), sum("order_amount")).show()

Agregando dados com Spark

Funções de agregação devem ser importadas de pyspark.sql.functions com uma instrução no início do seu código.

#----- Importar uma ou mais funções:
from pyspark.sql.functions import sum, avg, count, min, max

#----- Importar todas as funções SQL:
from pyspark.sql.functions import * 

#----- Importar todas as funções SQL com um alias:
import pyspark.sql.functions as F
# chamar sum: F.sum()

Agregando dados com Dataflows

Transformação Group by
- Sum
- Average
- Median
- Min
- Max
- Percentile
- Count rows

Captura de tela da janela Group by no Dataflows

Agregando dados com Dataflows

Captura de tela da janela Group by em um Dataflow, indicando agrupar por estado e duas agregações: contagem de linhas e soma da coluna de valor do pedido

Tabela com pedidos por estado agregada em uma nova tabela com total de pedidos e valor total por estado

Vamos praticar!

Transforme e analise dados com o Microsoft Fabric