Optymalizacja wydajności przepływu danych

Pozyskiwanie danych i modele semantyczne w Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Staging w Dataflows Gen2

Tymczasowo przechowuje dane podczas transformacji w celu optymalizacji wydajności

Artefakty tymczasowe:
- Ukryte wewnętrzne magazyny Lakehouse używane podczas transformacji danych
- Zarządzane automatycznie przez przepływy danych; niedostępne bezpośrednio dla użytkownika
Kiedy stosować:
- Domyślnie włączone dla lepszej wydajności punktu końcowego SQL
- Wyłączone przy bezpośrednim ładowaniu do Lakehouse i innych (możliwość ponownego włączenia)
Usuwanie danych tymczasowych:
- Wyłącz staging i odśwież (czyszczone po 30 dniach)
- Usuń przepływ danych lub obszar roboczy, aby usunąć natychmiast

Funkcja szybkiego pozyskiwania danych skalowana do obsługi dużych zbiorów danych

Architektura: Przenosi intensywne zadania z Power Query do wydajnego potoku zapewniającego szybsze przetwarzanie
Korzyść: Skraca czas przetwarzania dzięki skalowalnym zasobom zaplecza dla dużych danych

Architektura Fast Copy w DataFlows Gen2

Wymagania wstępne:

Pliki: 100 MB+ (CSV/Parquet)
Bazy danych: 5M+ wierszy (Azure SQL DB, PostgreSQL)
Obsługiwane łączniki: ADLS Gen2, Blob Storage, SQL DB, Lakehouse, PostgreSQL, lokalny SQL Server, Warehouse, Oracle
Obsługiwane transformacje: Łączenie plików, wybór kolumn, zmiana typów danych, zmiana nazwy/usuwanie kolumn

Opcja Require Fast Copy:

Wymusza użycie Fast Copy; natychmiast kończy się błędem, jeśli kryteria nie są spełnione
Oszczędza czas, eliminując długie oczekiwanie przy wolniejszym przetwarzaniu

Tworzenie autonomicznych przepływów danych dla określonych miejsc docelowych (Lakehouse, Warehouse lub baza danych KQL).
Wstępnie skonfigurowane ustawienia miejsca docelowego są stosowane automatycznie, przyspieszając tworzenie!

Domyślne zachowania: Poniższe ustawienia są domyślne i nie można ich zmienić

Domyślne miejsce docelowe danych w Dataflows Gen2

Pozyskiwanie danych i modele semantyczne w Microsoft Fabric