Optimización del rendimiento de Dataflow

Ingesta de datos y modelos semánticos con Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Staging en Dataflows Gen2

Mantiene datos temporalmente durante la transformación para optimizar el rendimiento

Artefactos de staging:
- Almacenamiento interno oculto de Lakehouse usado en transformaciones
- Dataflows lo gestiona automáticamente; no es de acceso directo
Cuándo usar staging:
- Activado por defecto para mejorar el rendimiento del endpoint SQL
- Desactivado para carga directa a Lakehouse y orígenes no Warehouse (se puede reactivar)
Eliminar datos de staging:
- Desactívalo y actualiza (se borra tras 30 días)
- Elimina el dataflow o el workspace para borrado inmediato

Función de ingesta de datos de alta velocidad que escala para manejar grandes conjuntos de datos

Arquitectura: Redistribuye cargas pesadas de Power Query a una canalización de alto rendimiento para procesar más rápido
Beneficio: Minimiza el tiempo de proceso usando recursos backend escalables para datos grandes

Arquitectura de Fast Copy en DataFlows Gen2

Requisitos previos:

Archivos: 100 MB+ (CSV/Parquet)
Bases de datos: 5M+ filas (Azure SQL DB, PostgreSQL)
Conectores compatibles: ADLS Gen2, Blob Storage, SQL DB, Lakehouse, PostgreSQL, SQL Server local, Warehouse, Oracle
Transformaciones compatibles: Combinar archivos, Seleccionar columnas, Cambiar tipos, Renombrar/Quitar columnas

Requerir opción Fast Copy:

Crea Dataflows independientes para destinos concretos (Lakehouse, Warehouse o base de datos KQL).
La configuración de destino predefinida se aplica automáticamente y acelera el desarrollo.

Comportamientos predefinidos: Son los valores por defecto y no se pueden cambiar

Destino de datos predeterminado en Dataflows Gen2

Ingesta de datos y modelos semánticos con Microsoft Fabric