Ingeniería de datos en Microsoft Fabric

Transformar y analizar datos con Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Analítica de datos de extremo a extremo

Diagrama que muestra los componentes de una solución de analítica de datos de extremo a extremo, incluidos orígenes de datos, ingesta, preparación y transformación, almacenamiento, consulta y visualización y análisis

Ingiera datos del origen y guárdalos en un data lake
Prepara y transforma los datos
Visualiza y analiza los datos

Data Factory

Diagrama que muestra los componentes de una solución de analítica de datos de extremo a extremo, destacando Data Pipelines en el componente de Ingesta y Dataflows en el componente de Preparar y Transformar

Ingier,e prepara y transforma datos
Dataflows y Data Pipelines

Dataflows

Interfaz low-code para ingesta y transformación
Motor de transformación Power Query

Captura del diseñador de Dataflow que muestra un dataflow de ingesta de ejemplo

Data Pipelines

Conjunto de actividades que realizan una tarea
Tipos de actividades:
- Movimiento de datos (Copy activity, Dataflow)
- Transformación de datos (Notebook, Stored Procedure, Script)
- Control (Switch, If, ForEach, Wait)

Captura del diseñador de Data Pipeline que muestra una canalización de ingesta de ejemplo con una actividad Copy y una actividad Dataflow

Synapse Data Engineering

Diagrama que muestra los componentes de una solución de analítica de datos de extremo a extremo, destacando elementos de Lakehouse en el componente de Almacenamiento, y Notebooks y trabajos de Spark en el componente de Preparar y Transformar

Lakehouses
Notebooks
Definiciones de trabajos de Apache Spark

Lakehouses

Datos estructurados (tablas)
Datos no estructurados (archivos)

Captura del Explorador de Lakehouse en el portal de Fabric, que muestra un Lakehouse con Tables y Files

Notebooks

Interfaz web interactiva
- Código para manipular datos
- Visualizaciones de datos
- Comentarios / explicaciones
Compatibilidad multilenguaje:
- PySpark (Python)
- Spark (Scala)
- Spark SQL (SQL)
- SparkR (R)

Captura del editor de Notebook que muestra un cuaderno de ejemplo con descripciones en texto, código de Python y un histograma

Definiciones de trabajos de Apache Spark

Envía trabajos batch/streaming a clústeres Spark
Alternativa o complemento a Notebooks:
- Notebooks para exploración, prototipado y desarrollo colaborativo
- Spark Job Definition para automatizar código de procesamiento listo para producción

Captura de una definición de Spark Job que muestra parámetros de configuración

Synapse Data Warehouse

Diagrama que muestra los componentes de una solución de analítica de datos de extremo a extremo, destacando elementos de Warehouse en el componente de Almacenamiento

Se comporta como un almacén de datos relacional tradicional
Almacena datos en OneLake con el formato abierto Delta Lake
Permite interoperar con otras cargas de trabajo de Fabric
Sin necesidad de crear múltiples copias de datos

Elegir un almacén de datos

Lakehouse
- Datos no estructurados (archivos)
- Spark como interfaz principal de desarrollo

Warehouse
- Datos estructurados (tablas)
- T-SQL como interfaz principal de desarrollo

Elegir una herramienta de copia de datos

Tabla que resume aspectos a considerar al elegir entre Pipeline Copy Activity, Dataflow y Spark. Aspectos: cantidad de código requerido, habilidades del desarrollador, orígenes de datos y complejidad de la transformación

Elegir una herramienta de copia de datos

¡Vamos a practicar!

Transformar y analizar datos con Microsoft Fabric