Data engineering in Microsoft Fabric

Trasforma e analizza i dati con Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Data analytics end-to-end

Diagramma dei componenti di una soluzione end-to-end di data analytics, incluse origini dati, ingestione, preparazione e trasformazione, archiviazione, query e visualizzazione e analisi

Acquisisci dati dalla fonte e salvali in un data lake
Prepara e trasforma i dati
Visualizza e analizza i dati

Data Factory

Diagramma dei componenti di una soluzione end-to-end di data analytics, con Data Pipelines evidenziate in Ingest e Dataflows in Prepare and Transform

Acquisisci, prepara e trasforma i dati
Dataflows e Data Pipelines

Dataflow

Interfaccia low-code per ingestione e trasformazione dati
Motore di trasformazione Power Query

Screenshot del designer Dataflow con un dataflow di ingestione di esempio

Data Pipelines

Insieme di attività che eseguono un'attività
Tipi di attività:
- Movimento dati (Copy activity, Dataflow)
- Trasformazione dati (Notebook, Stored Procedure, Script)
- Controllo (Switch, If, ForEach, Wait)

Screenshot del designer Data Pipeline con una pipeline di ingestione di esempio con una Copy activity e una Dataflow

Synapse Data Engineering

Diagramma dei componenti di una soluzione end-to-end di data analytics, con Lakehouse evidenziati nella sezione Store e Notebooks e Spark job in Prepare and Transform

Lakehouse
Notebook
Definizioni di job Apache Spark

Lakehouse

Dati strutturati (tabelle)
Dati non strutturati (file)

Screenshot del Lakehouse Explorer nel portale Fabric, con un Lakehouse che contiene Tables e Files

Notebook

Interfaccia web interattiva
- Codice per manipolare dati
- Visualizzazioni dei dati
- Commenti / spiegazioni
Supporto multi-lingua:
- PySpark (Python)
- Spark (Scala)
- Spark SQL (SQL)
- SparkR (R)

Screenshot dell'editor Notebook con un notebook di esempio con testo descrittivo, codice Python e un istogramma

Definizioni di job Apache Spark

Invia job batch/streaming ai cluster Spark
Alternativa o complemento ai Notebook:
- Notebook per esplorazione dati, prototipazione e sviluppo collaborativo
- Spark Job Definition per automatizzare codice di data processing pronto per la produzione

Screenshot di una definizione Spark Job con parametri di configurazione

Synapse Data Warehouse

Diagramma dei componenti di una soluzione end-to-end di data analytics, con elementi Warehouse evidenziati nella sezione Store

Si comporta come un tradizionale data warehouse relazionale
Archivia i dati in OneLake con formato aperto Delta Lake
Abilita interoperabilità con altri carichi di lavoro Fabric
Niente copie multiple dei dati

Scegliere un data store

Lakehouse
- Dati non strutturati (file)
- Spark come interfaccia di sviluppo principale

Warehouse
- Dati strutturati (tabelle)
- T-SQL come interfaccia di sviluppo principale

Scegliere uno strumento di copia dati

Tabella che riassume cosa considerare scegliendo tra Pipeline Copy Activity, Dataflow e Spark. Aspetti: quantità di codice richiesto, competenze sviluppatore, origini dati e complessità trasformazioni

Scegliere uno strumento di copia dati

Ayo berlatih!

Trasforma e analizza i dati con Microsoft Fabric