Inżynieria danych w Microsoft Fabric

Przekształcanie i analizowanie danych w Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Kompleksowa analityka danych

• Pozyskaj dane ze źródła i zapisz w data lake
• Przygotuj i przekształć dane
• Wizualizuj i analizuj dane

Data Factory

• Pozyskiwanie, przygotowywanie i transformacja danych
• Dataflows i Data Pipelines

Dataflows

• Interfejs low-code do pozyskiwania i transformacji danych
• Silnik transformacji Power Query

Potoki danych

• Zbiór działań realizujących zadanie
• Typy działań:
  • Przenoszenie danych (Copy activity, Dataflow)
  • Transformacja danych (Notebook, Stored Procedure, Script)
  • Kontrolne (Switch, If, ForEach, Wait)

Synapse Data Engineering

• Lakehouses
• Notebooki
• Definicje zadań Apache Spark

Lakehouses

• Dane ustrukturyzowane (tabele)
• Dane nieustrukturyzowane (pliki)

Notebooki

• Interaktywny interfejs webowy
  • Kod do manipulacji danymi
  • Wizualizacje danych
  • Komentarze / Opisy
• Obsługa wielu języków:
  • PySpark (Python)
  • Spark (Scala)
  • Spark SQL (SQL)
  • SparkR (R)

Definicje zadań Apache Spark

• Przesyłanie zadań wsadowych/strumieniowych do klastrów Spark
• Alternatywa lub uzupełnienie dla Notebooków:
  • Notebooki do eksploracji danych, prototypowania i wspólnego rozwoju
  • Definicja zadania Spark do automatyzacji produkcyjnego kodu przetwarzania danych

Synapse Data Warehouse

• Działa jak tradycyjny relacyjny magazyn danych
• Przechowuje dane w OneLake w formacie Delta Lake
• Umożliwia interoperacyjność z innymi obciążeniami Fabric
• Nie wymaga tworzenia wielu kopii danych

Wybór magazynu danych

• Lakehouse
  • Dane nieustrukturyzowane (pliki)
  • Spark jako główny interfejs deweloperski

 

• Warehouse
  • Dane ustrukturyzowane (tabele)
  • T-SQL jako główny interfejs deweloperski

Wybór narzędzia do kopiowania danych

Wybór narzędzia do kopiowania danych

Wybór narzędzia do kopiowania danych

Czas na ćwiczenia!

Przekształcanie i analizowanie danych w Microsoft Fabric