Esplorazione e trasformazione dei dati

Trasforma e analizza i dati con Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Scenari di trasformazione dei dati

Perché trasformare i dati?

Rimuovere o pulire dati errati dalle sorgenti

Immagine di una tabella con voci non valide evidenziate in rosso

Scenari di trasformazione dei dati

Perché trasformare i dati?

Rimuovere o pulire dati errati dalle sorgenti.
Convertire i tipi per coerenza.

Immagine che rappresenta una colonna numerica salvata come testo convertita in numeri reali

Scenari di trasformazione dei dati

Perché trasformare i dati?

Rimuovere o pulire dati errati dalle sorgenti.
Convertire i tipi per coerenza.
Filtrare i dati irrilevanti.

Immagine che mostra una tabella prima e dopo il filtro di righe che non soddisfano un criterio; in questo caso si tengono solo i record dove un campo è diverso da 'X'

Scenari di trasformazione dei dati

Perché trasformare i dati?

Rimuovere o pulire dati errati dalle sorgenti.
Convertire i tipi per coerenza.
Filtrare i dati irrilevanti.
Unire dati da più sorgenti.

Diagramma che rappresenta due tabelle combinate in una -

Scenari di trasformazione dei dati

Perché trasformare i dati?

Rimuovere o pulire dati errati dalle sorgenti.
Convertire i tipi per coerenza.
Filtrare i dati irrilevanti.
Unire dati da più sorgenti.
Mettere i dati in un formato più adatto ad analisi e report.

Diagramma che mostra una grande tabella trasformata in uno schema a stella

Pulizia dei dati

Riduci righe irrilevanti (rimuovi iniziali/finali)
Rimuovi duplicati
Rimuovi righe vuote
Rimuovi righe con errori
Converti tipi di dato

Immagine di una tabella sorgente con voci non valide in rosso e una freccia che indica la loro rimozione nella tabella di destinazione

Filtraggio dei dati

Restringere i dataset
- Seleziona solo un sottoinsieme di dati
- Scarta record che non rispettano criteri
Esempio: clausola SQL WHERE

Screenshot di una query che seleziona dati dalla tabella Orders dove la colonna State è uguale a NY

Diagramma che mostra una tabella che filtra le righe non relative allo stato NY

Merge e join dei dati

Unisci due o più dataset
Utile per creare schemi a stella

Diagramma che illustra l'unione di due tabelle

Aggregazione e disaggregazione dei dati

Aggregazione: compila e riassumi i dati

Tabella con ordini per stato aggregata in una nuova tabella con numero totale ordini e importo vendite per stato

Disaggregazione: dividi i dati, spesso una colonna in più colonne

Tabella con sedi dove la località ha città e stato disaggregati in una nuova tabella con città e stato in colonne separate

Strumenti per esplorare e trasformare dati

Dataflows
Data Wrangler

Due screenshot affiancati che mostrano l'interfaccia grafica di dataflows e data wrangler

Notebook Spark
Script SQL

Due screenshot affiancati che mostrano un notebook Spark e uno script SQL di esempio

Dataflows

Interfaccia grafica low-code
Pulizia
Filtraggio
Aggregazione

Screenshot del designer Dataflow con alcune query di esempio e operazioni di trasformazione disponibili

Data Wrangler

Strumento su notebook per analisi esplorative
Griglia per visualizzare i dati
Statistiche riassuntive dinamiche
Visualizzazioni integrate
Libreria di operazioni comuni di pulizia

Screenshot dell'interfaccia di Data Wrangler con alcune operazioni di esempio

Notebook Spark

Varie lingue
Librerie Python per la manipolazione dati
- PySpark per dataset grandi
- Pandas per dataset piccoli

Screenshot di un notebook Spark con codice PySpark di esempio

Script SQL

Istruzioni T-SQL per manipolare dati: SELECT, INSERT, UPDATE, DELETE
JOIN per unire dati
CAST e CONVERT per cambiare tipo dati

Screenshot dell'editor SQL con una SELECT di esempio

Andiamo a fare pratica!

Trasforma e analizza i dati con Microsoft Fabric