Оптимізація продуктивності Dataflow

Імпорт даних і семантичні моделі в Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Staging у Dataflows Gen2

Тимчасово зберігає дані під час перетворень для підвищення продуктивності

Проміжні артефакти:
- Приховане внутрішнє сховище Lakehouse, що використовується під час перетворень даних
- Автоматично керується Dataflows; не призначене для прямого доступу користувачів
Коли вмикати проміжне зберігання:
- Увімкнено за замовчуванням для кращої продуктивності SQL endpoint
- Вимкнено для прямого завантаження в Lakehouse і поза Warehouse (можна знову ввімкнути)
Видалення проміжних даних:
- Вимкніть staging і оновіть (очищається через 30 днів)
- Видаліть dataflow або робочу область, щоб прибрати негайно

Функція швидкого завантаження даних, що масштабується для ефективної обробки великих наборів даних

Архітектура: Перерозподіляє важкі навантаження з Power Query у високопродуктивний конвеєр для швидшої обробки
Перевага: Мінімізує час обробки завдяки масштабованим бекенд‑ресурсам для великих даних

Архітектура Fast Copy у DataFlows Gen2

Передумови:

Файли: 100 МБ+ (CSV/Parquet)
Бази даних: 5 млн+ рядків (Azure SQL DB, PostgreSQL)
Підтримувані конектори: ADLS Gen2, Blob Storage, SQL DB, Lakehouse, PostgreSQL, локальний SQL Server, Warehouse, Oracle
Підтримувані перетворення: Об'єднання файлів, Вибір стовпців, Зміна типів даних, Перейменування/видалення стовпців

Параметр Require Fast Copy:

Примусово використовує Fast Copy, одразу завершує з помилкою, якщо критерії не виконані
Заощаджує час, уникаючи довгого очікування повільної обробки

Створюйте окремі Dataflows для конкретних місць призначення даних (Lakehouse, Warehouse або KQL Database).
Попередні налаштування місця призначення застосовуються автоматично, що пришвидшує розробку!

Попередні параметри: Далі наведено типові налаштування, які не можна змінити

Типове місце призначення даних у Dataflows Gen2

Імпорт даних і семантичні моделі в Microsoft Fabric