Narzędzia Fabric do wydobywania, przekształcania i wczytywania danych

Pozyskiwanie danych i modele semantyczne w Microsoft Fabric

Fiodar Sazanavets

Senior Software Engineer

Dataflow Gen2 przygotowuje powtarzalne zapytania

  • Cotygodniowe pliki zamówień wymagają tego samego czyszczenia
  • Low-code'owy element Fabric, który zamienia powtarzalne czyszczenie w zapisany proces
  • Znajduje się między źródłami a miejscami docelowymi
  • Pobiera, przekształca i wczytuje dane
  • Powtarza te same kroki przy każdym odświeżeniu

Dataflow Gen2 przeprowadza dane ze źródeł bazy danych, CSV i JSON przez etapy filtrowania, dodawania kolumny i scalania do lakehouse, z pętlą odświeżania wracającą do początku

Pozyskiwanie danych i modele semantyczne w Microsoft Fabric

Edytor Dataflow Gen2

Edytor Dataflow Gen2 w widoku diagramu ze wstążką, zapytaniami Orders i Products, podglądem danych, ustawieniami zapytania oraz ikonami widoku w prawym dolnym rogu

  • Wstążka: polecenia
  • Panel zapytań: lista zapytań
  • Podgląd danych: bieżący wynik
  • Ikony widoku (prawy dolny róg): widok diagramu, danych lub schematu
  • Ustawienia zapytania: zastosowane kroki i miejsce docelowe
Pozyskiwanie danych i modele semantyczne w Microsoft Fabric

Power Query zapisuje każdy krok

  • Power Query: edytor Dataflow Gen2 do kształtowania danych
  • Każda akcja staje się zastosowanym krokiem
  • Power Query generuje kod M dla każdego kroku
  • Pracujesz w edytorze; znajomość M nie jest wymagana
= Table.SelectRows(Source, each [Status] <> "Canceled")
Pozyskiwanie danych i modele semantyczne w Microsoft Fabric

Wprowadzanie danych za pomocą pustej tabeli

  • Pobierz dane z innego źródła > Pusta tabela

Okno Pobierz dane z wyszukaną frazą „blank", pokazujące wynik Pusta tabela

  • Wpisuj wiersze w siatkę; kliknij dwukrotnie nagłówek, aby go zmienić
  • Nadawaj zapytaniom czytelne nazwy, np. Orders
  • Dodawaj kolejne tabele za pomocą Wprowadź dane na karcie Narzędzia główne

Siatka pustej tabeli z kolumnami OrderID, ProductID, Status, Quantity i UnitPrice, trzema wierszami zamówień oraz zapytaniem o nazwie Orders

Pozyskiwanie danych i modele semantyczne w Microsoft Fabric

Zastosowane kroki

  • Source rozpoczyna zapytanie
  • Każdy krok przekształca poprzedni wynik
  • Wybierz krok, aby go sprawdzić, edytować, zmienić kolejność lub usunąć
  • Kroki są uruchamiane ponownie w tej samej kolejności przy każdym odświeżeniu

Ustawienia zapytania Orders z zastosowanymi krokami Source, Changed column type, Merged queries i Filtered rows

Pozyskiwanie danych i modele semantyczne w Microsoft Fabric

Najczęstsze przekształcenia

  • Filtruj wiersze: usuń rekordy niespełniające reguły
  • Zmień typ: popraw typ danych zapisany jako tekst
  • Dodaj kolumnę niestandardową: oblicz nową wartość
  • Dołącz zapytania: połącz wiersze z zapytania o tych samych kolumnach
  • Scal zapytania: dodaj kolumny, dopasowując wspólny klucz

Pięć przekształceń danych Orders: filtrowanie wierszy, zmiana typu, dodanie kolumny niestandardowej Revenue, dołączanie zapytań i scalanie zapytań po ProductID

Pozyskiwanie danych i modele semantyczne w Microsoft Fabric

Scalanie zapytań

  • Łącz kolumny rozdzielone między zapytaniami (Orders + Products)
  • Scal zapytania z poziomu pierwszego zapytania
  • Dopasuj po wspólnym kluczu, np. ProductID
  • Lewe zewnętrzne zachowuje wszystkie wiersze z pierwszego zapytania
  • Rozwiń scaloną kolumnę, aby wybrać pola

Otwarte menu Scal zapytania na wstążce Narzędzia główne z wybranym zapytaniem Orders

Okno scalania łączące Orders i Products po ProductID z wybraną opcją Lewe zewnętrzne

Pozyskiwanie danych i modele semantyczne w Microsoft Fabric

Czas na praktykę!

Pozyskiwanie danych i modele semantyczne w Microsoft Fabric

Preparing Video For Download...