Data Engineering in Microsoft Fabric

Transform and Analyze Data with Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Data Analytics End To End

• Příjem dat ze zdroje a jejich uložení do datového jezera
• Příprava a transformace dat
• Vizualizace a analýza dat

Data Factory

• Příjem, příprava a transformace dat
• Dataflows and Data Pipelines

Dataflows

• Low-code interface for data ingestion and transformation
• Power Query transformation engine

Data Pipelines

• Kolekce aktivit provádějících úlohu
• Typy aktivit:
  • Přesun dat (aktivita kopírování, Dataflow)
  • Transformace dat (Notebook, Stored Procedure, Script)
  • Řízení (Switch, If, ForEach, Wait)

Synapse Data Engineering

• Lakehouse
• Notebooky
• Definice úloh Apache Spark

Lakehouses

• Strukturovaná data (tabulky)
• Nestrukturovaná data (soubory)

Notebooks

• Interaktivní webové rozhraní
  • Kód pro práci s daty
  • Vizualizace dat
  • Komentáře / vysvětlení
• Podpora více jazyků:
  • PySpark (Python)
  • Spark (Scala)
  • Spark SQL (SQL)
  • SparkR (R)

Apache Spark Job Definitions

• Odesílání dávkových/streamovacích úloh do clusterů Spark
• Alternativa nebo doplněk k Notebookům:
  • Notebooky pro průzkum dat, prototypování a týmový vývoj
  • Definice úlohy Spark pro automatizaci produkčního kódu zpracování dat

Synapse Data Warehouse

• Chová se jako tradiční relační datový sklad
• Ukládá data v OneLake ve formátu Delta Lake
• Umožňuje interoperabilitu s ostatními úlohami Fabric
• Není třeba vytvářet více kopií dat

Choosing a Data Store

• Lakehouse
  • Nestrukturovaná data (soubory)
  • Spark jako primární vývojové rozhraní

 

• Warehouse
  • Strukturovaná data (tabulky)
  • T-SQL jako primární vývojové rozhraní

Choosing a Data Copy Tool

Choosing a Data Copy Tool

Choosing a Data Copy Tool

Let's practice!

Transform and Analyze Data with Microsoft Fabric