Explorarea și transformarea datelor

Transformă și analizează date cu Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Scenarii de transformare a datelor

De ce trebuie să transformăm datele?

  • Eliminarea sau curățarea datelor incorecte din sistemele sursă

Imagine a unui tabel de date cu intrări invalide evidențiate în roșu

Transformă și analizează date cu Microsoft Fabric

Scenarii de transformare a datelor

De ce trebuie să transformăm datele?

  • Eliminarea sau curățarea datelor incorecte din sistemele sursă.
  • Conversia tipurilor de date pentru consistență.

Imagine reprezentând o coloană de date care stochează numere ca text, convertită în numere reale

Transformă și analizează date cu Microsoft Fabric

Scenarii de transformare a datelor

De ce trebuie să transformăm datele?

  • Eliminarea sau curățarea datelor incorecte din sistemele sursă.
  • Conversia tipurilor de date pentru consistență.
  • Filtrarea datelor irelevante.

Imagine care arată un tabel înainte și după filtrarea rândurilor care nu îndeplinesc un criteriu, păstrând doar înregistrările unde un anumit câmp nu este egal cu 'X'

Transformă și analizează date cu Microsoft Fabric

Scenarii de transformare a datelor

De ce trebuie să transformăm datele?

  • Eliminarea sau curățarea datelor incorecte din sistemele sursă.
  • Conversia tipurilor de date pentru consistență.
  • Filtrarea datelor irelevante.
  • Combinarea datelor din mai multe sisteme sursă.

Diagramă reprezentând două tabele combinate într-unul singur-

Transformă și analizează date cu Microsoft Fabric

Scenarii de transformare a datelor

De ce trebuie să transformăm datele?

  • Eliminarea sau curățarea datelor incorecte din sistemele sursă.
  • Conversia tipurilor de date pentru consistență.
  • Filtrarea datelor irelevante.
  • Combinarea datelor din mai multe sisteme sursă.
  • Structurarea datelor într-un format potrivit pentru analiză și raportare.

Diagramă reprezentând un tabel mare transformat într-o schemă stea

Transformă și analizează date cu Microsoft Fabric

Curățarea datelor

  • Reducerea rândurilor irelevante (eliminare rânduri de sus/jos)
  • Eliminarea duplicatelor
  • Eliminarea rândurilor goale
  • Eliminarea rândurilor cu erori
  • Conversia tipurilor de date

Imagine a unui tabel sursă cu intrări invalide evidențiate în roșu și o săgeată indicând eliminarea acestor înregistrări din tabelul destinație

Transformă și analizează date cu Microsoft Fabric

Filtrarea datelor

  • Restrângerea seturilor de date

    • Selectarea unui subset de date
    • Excluderea înregistrărilor care nu îndeplinesc criterii specifice

  • Exemplu: clauza SQL WHERE

Captură de ecran a unei interogări care selectează date din tabelul Orders unde coloana State este egală cu NY

Diagramă care arată un tabel din care sunt eliminate rândurile ce nu aparțin statului NY

Transformă și analizează date cu Microsoft Fabric

Îmbinarea și joinul datelor

  • Îmbinarea a două sau mai multe seturi de date
  • Util pentru construirea schemelor stea

Diagramă ilustrând îmbinarea a două tabele

Transformă și analizează date cu Microsoft Fabric

Agregarea și dezagregarea datelor

  • Agregare: compilarea și rezumarea datelor

Tabel cu comenzi de vânzări pe stat agregat într-un tabel nou cu numărul total de comenzi și suma totală a vânzărilor pe stat

  • Dezagregare: împărțirea datelor, de obicei o coloană în mai multe coloane

Tabel cu locații de sucursale unde locația cu oraș și stat este dezagregată într-un tabel nou cu orașul și statul în coloane separate

Transformă și analizează date cu Microsoft Fabric

Instrumente de explorare și transformare a datelor

  • Dataflows
  • Data Wrangler

Două capturi de ecran alăturate, prezentând interfața grafică a Dataflows și Data Wrangler

  • Spark notebooks
  • SQL scripts

Două capturi de ecran alăturate, prezentând un notebook Spark și un script SQL

Transformă și analizează date cu Microsoft Fabric

Dataflows

  • Interfață grafică low-code
  • Curățare
  • Filtrare
  • Agregare

Captură de ecran a designerului Dataflow cu câteva interogări exemplu și operațiuni de transformare disponibile

Transformă și analizează date cu Microsoft Fabric

Data Wrangler

  • Instrument bazat pe notebook pentru analiza exploratorie a datelor
  • Grilă de afișare a datelor
  • Statistici rezumative dinamice
  • Vizualizări integrate
  • Bibliotecă de operațiuni comune de curățare a datelor

Captură de ecran a interfeței Data Wrangler cu câteva operațiuni exemplu

Transformă și analizează date cu Microsoft Fabric

Spark notebooks

  • Varietate de limbaje
  • Biblioteci Python pentru manipularea datelor
    • PySpark pentru seturi de date mari
    • Pandas pentru seturi de date mici

Captură de ecran a unui notebook Spark cu cod PySpark exemplu

Transformă și analizează date cu Microsoft Fabric

SQL scripts

  • Instrucțiuni T-SQL pentru manipularea datelor: SELECT, INSERT, UPDATE, DELETE
  • JOIN pentru îmbinarea datelor
  • CAST și CONVERT pentru conversia tipurilor de date

Captură de ecran a editorului SQL cu o interogare SELECT exemplu

Transformă și analizează date cu Microsoft Fabric

Să exersăm!

Transformă și analizează date cu Microsoft Fabric

Preparing Video For Download...