Wprowadzenie do potoków danych w Fabric

Pozyskiwanie danych i modele semantyczne w Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Potoki danych w Microsoft Fabric

Dwie główne funkcje Data Factory:

  1. Data Pipelines – Orkiestracja przepływu danych. Data Pipelines
  2. Dataflows – Obsługuje ponad 300 transformacji danych w interfejsie graficznym. Dataflows

Potoki danych w Microsoft Fabric:

  • Automatyzuje proces ETL przy minimalnym kodowaniu lub bez niego.
  • Umożliwia integrację różnorodnych źródeł danych.
  • Bogaty zestaw działań do pozyskiwania i transformacji danych.
  • Uruchamiane ręcznie lub automatycznie za pomocą wyzwalaczy.
1 https://learn.microsoft.com/en-us/fabric/data-factory/data-factory-overview
Pozyskiwanie danych i modele semantyczne w Microsoft Fabric

Działania w potokach danych

Działania to zadania w potokach, realizujące przetwarzanie danych i automatyzację przepływu pracy. Linia montażowa samochodów ilustrująca działania w potoku danych

1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Pozyskiwanie danych i modele semantyczne w Microsoft Fabric

Typy działań

  1. Przenoszenie i transformacja:
    • Obsługuje przesyłanie i przekształcanie danych.
    • (np. Copy data Copy data).
  2. Metadane i walidacja:
    • Zarządza kontrolą jakości danych i pobieraniem metadanych.
    • (np. LookupLookup).
  3. Przepływ sterowania:
    • Kontroluje kolejność zadań na podstawie warunków i pętli.
    • (np. If condition If condition, ForEach If condition).
1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Pozyskiwanie danych i modele semantyczne w Microsoft Fabric

Typy działań

  1. Orkiestracja:

    • Synchronizacja wielu procesów
    • (np. Invoke Pipeline Invoke Pipeline).

  2. Powiadomienia:

    • Wysyła alerty przez e-mail lub komunikatory
    • (np. 365 Outlook365 Outlook, TeamsTeams).

  3. Transformacja:

    • Wykonuje operacje na danych zgodnie z logiką biznesową.
    • (np. NotebookNotebook, Stored ProcedureStored Procedure).
Pozyskiwanie danych i modele semantyczne w Microsoft Fabric

Parametry i zmienne potoku

Parametry i zmienne umożliwiają dynamiczne sterowanie potokiem.

Parametry:

  • Ustawiane w czasie wykonania: Sterują potokiem na podstawie danych zewnętrznych.
  • Zakres globalny: Wpływają na cały przebieg potoku.

Zmienne:

  • Dynamiczne śledzenie: Wartości zmieniają się podczas wykonania potoku.
  • Zakres lokalny: Zarządzają danymi w obrębie konkretnych działań.
1 https://learn.microsoft.com/en-us/fabric/data-factory/parameters 2 https://learn.microsoft.com/en-us/fabric/data-factory/set-variable-activity
Pozyskiwanie danych i modele semantyczne w Microsoft Fabric

Uruchomienia potoku

Uruchomienie potoku wykonuje wszystkie jego działania do końca.

  • Na żądanie: Uruchamiane bezpośrednio z interfejsu Fabric. Uruchomienie na żądanie
  • Zaplanowane: Uruchamiane z określoną częstotliwością. Uruchomienie zaplanowane

Monitorowanie:

  • Śledź każde uruchomienie potoku za pomocą jego unikalnego identyfikatora Run ID w zakładce Monitor.

Walidacja:

  • Przed wykonaniem sprawdź poprawność konfiguracji potoku za pomocą opcji Validate.
1 https://learn.microsoft.com/en-us/fabric/data-factory/pipeline-runs
Pozyskiwanie danych i modele semantyczne w Microsoft Fabric

Czas na ćwiczenia!

Pozyskiwanie danych i modele semantyczne w Microsoft Fabric

Preparing Video For Download...