Implement performance improvements

Transformar y analizar datos con Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Estrategias de optimización

Optimiza el diseño de los elementos de Fabric
Scale up
Scale out

Optimizar SQL

Limita las consultas solo a las columnas y operaciones necesarias

Ejemplo de sentencia SQL SELECT reducida de seleccionar todas las columnas a seleccionar solo columnas concretas

Optimizar SQL

Limita las consultas solo a las columnas y operaciones necesarias
Usa los tipos de datos más pequeños posibles

Ejemplo de sentencia CREATE TABLE donde el tipo de datos de una columna numérica cambia de BIGINT a INT

Optimizar SQL

Limita las consultas solo a las columnas y operaciones necesarias
Usa los tipos de datos más pequeños posibles
Usa el diseño de esquema en estrella

Optimizar SQL

Limita las consultas solo a las columnas y operaciones necesarias
Usa los tipos de datos más pequeños posibles
Usa el diseño de esquema en estrella
Usa vistas del sistema para monitorizar el uso de consultas

SELECT *
FROM sys.dm_exec_requests;

Optimizar Notebooks

Aprovecha Spark History Server

Captura de pantalla de la página web de la interfaz de Spark

Optimizar Notebooks

Aprovecha Spark History Server
Detén las sesiones activas de Spark cuando no se usen

Optimizar Notebooks

Aprovecha Spark History Server
Detén las sesiones activas de Spark cuando no se usen
Al hacer joins, reduce los datos en memoria antes de ejecutar el join

Optimizar flujos de datos

Minimiza operaciones costosas como ordenar

Flujo de datos de ejemplo donde se elimina una operación de ordenación si no es necesaria

Optimizar flujos de datos

Minimiza operaciones costosas como ordenar
Query folding
- Traslada tareas de procesamiento al origen de datos

Paso de flujo de datos de ejemplo. Cuando no hay query folding, la evaluación del paso ocurre fuera del origen de datos. Cuando hay query folding, la operación la evalúa el origen de datos

Optimizar flujos de datos

Minimiza operaciones costosas como ordenar
Query folding
- Traslada tareas de procesamiento al origen de datos
Staging On/Off
- Desactívalo para cargas pequeñas o transformaciones simples
- Actívalo para cargas grandes o transformaciones complejas

Captura que muestra la opción Enable Staging en una consulta de flujo de datos

Scale Up

Aumenta el tamaño de la SKU
SKU más alta = más capacidad de cómputo

Tabla con las distintas SKU de Azure Fabric disponibles, de la más pequeña F2 a la mayor F2048 v

Scale Up

Ilustración de ejemplo de escalar verticalmente una capacidad de Fabric aumentando el número de v-cores

Ejemplo: escala de F64 (8 v-cores) a F128 (16 v-cores)

Scale Out

Mueve algunos elementos a otra capacidad de Fabric.
Aísla cargas de trabajo
- Producción vs. no producción
- Distintas áreas del negocio; por ejemplo, una capacidad aparte para informes ejecutivos

Scale Out

Ilustración de ejemplo de escalar horizontalmente una capacidad de Fabric añadiendo una segunda capacidad y moviendo una carga de trabajo a ella

¡Vamos a practicar!

Transformar y analizar datos con Microsoft Fabric