Agregación de datos

Transformar y analizar datos con Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

¿Cuándo deberías agregar datos?

Reduce el número de filas de un conjunto de datos usando funciones de agregación para crear resúmenes.
- Contar
- Resumir
- Promedio
- Máximo
- Mínimo

¿Cuándo deberías agregar datos?

Reduce el número de filas de un conjunto de datos usando funciones de agregación para crear resúmenes.
- Contar
- Resumir
- Promedio
- Máximo
- Mínimo

Tabla con pedidos de ventas por estado agregada en una nueva tabla con el número total de pedidos y el importe total de ventas por estado

Herramientas para implementar la agregación de datos

Iconos de tres herramientas: SQL, Spark y Dataflows

Agregar datos con SQL

Funciones de agregación SQL habituales:
- SUM()
- COUNT()
- AVG()
- MIN()
- MAX()
Normalmente se usan con GROUP BY
Funciones estadísticas
- STDEV()
- VAR()

SELECT
  <unaggregated columns>,
  function(<aggregated column>)
FROM 
  <table>
GROUP BY 
  <unaggregated columns>;

Agregar datos con SQL

SELECT 
  [State], 
  COUNT([Order_ID]) AS [Num Orders], 
  SUM([Order_Amount]) AS [Total Amount]
FROM 
  [tbl_Orders]
GROUP BY 
  [State]

Tabla con pedidos de ventas por estado agregada en una nueva tabla con el número total de pedidos y el importe total de ventas por estado

Agregar datos con Spark

Funciones de agregación PySpark habituales:
- sum()
- count()
- avg()
- min() y max()
- first() y last()
Funciones estadísticas
- stdev()
- variance()
Se usan con groupBy() y agg()

df.groupBy(<unaggregated columns>)
.agg(function(<aggregated column>))

Agregar datos con Spark

Tabla con pedidos de ventas por estado agregada en una nueva tabla con el número total de pedidos y el importe total de ventas por estado

from pyspark.sql.functions import sum

df.groupBy("state").agg(count("order_id"), sum("order_amount")).show()

Agregar datos con Spark

Las funciones de agregación deben importarse desde pyspark.sql.functions añadiendo una sentencia al inicio de tu código.

#----- Importar una o varias funciones:
from pyspark.sql.functions import sum, avg, count, min, max

#----- Importar todas las funciones SQL:
from pyspark.sql.functions import * 

#----- Importar todas las funciones SQL con un alias:
import pyspark.sql.functions as F
# llamar a sum: F.sum()

Agregar datos con Dataflows

Transformación de Agrupar por
- Sum
- Average
- Median
- Min
- Max
- Percentile
- Count rows

Captura de pantalla del diálogo Group by en Dataflows

Agregar datos con Dataflows

Captura de pantalla del diálogo Group by en un Dataflow, indicando que los datos deben agruparse por estado y con dos agregaciones: recuento de filas y suma de la columna de importe del pedido

Tabla con pedidos de ventas por estado agregada en una nueva tabla con el número total de pedidos y el importe total de ventas por estado

¡Vamos a practicar!

Transformar y analizar datos con Microsoft Fabric