Оптимизация производительности Dataflow Gen2

Загрузка данных и семантические модели в Microsoft Fabric

Fiodar Sazanavets

Senior Software Engineer

Найдите медленный этап, прежде чем вносить изменения

  • Последние запуски > выберите время начала запуска
  • Сравните длительность по таблицам и операциям
  • Сначала устраните самый медленный этап
  • Измените один параметр, обновите данные и сравните результат

Этапы обновления с длительностью: извлечение — 3 минуты, преобразование — 24 минуты (отмечено как узкое место), загрузка — 4 минуты

Загрузка данных и семантические модели в Microsoft Fabric

Снижайте нагрузку, прежде чем усложнять

Сокращение источника с 80 столбцов до 12 и меньшего числа строк перед преобразованием и загрузкой в lakehouse

  • Удаляйте неиспользуемые столбцы сразу после шага Источник (Выбор столбцов / Удаление столбцов)
  • Последующие шаги обрабатывают меньше данных
  • Фильтруйте строки с помощью фильтра по столбцу
Загрузка данных и семантические модели в Microsoft Fabric

Подготовьте общие данные один раз

Контекстное меню запроса OrdersRaw с отмеченным пунктом «Включить промежуточное хранение» и выделенным красным пунктом «Ссылка»

  • Затратная очистка данных может использоваться в нескольких запросах
  • Включить промежуточное хранение сохраняет общий результат
  • Ссылка создаёт запросы, которые его используют
Загрузка данных и семантические модели в Microsoft Fabric

Когда применяется Fast Copy

  • Используется автоматически, если запрос соответствует условиям

 

Условие Требования Fast Copy
Емкость Fabric Capacity
Коннектор Поддерживаемый, например Lakehouse, SQL, Snowflake, ADLS Gen2
Преобразования Только совместимые шаги; перенесите Group by или объединение в ссылающийся запрос
Размер Файлы от 100 МБ или от 5 млн строк по умолчанию
Назначение Только Lakehouse
Загрузка данных и семантические модели в Microsoft Fabric

Включение и отключение Fast Copy

Указатель на значок «Параметры» на ленте Dataflow Gen2 Home с подсказкой «Управление параметрами среды Power Query»

Диалоговое окно «Параметры» на странице «Масштаб» с отмеченным и выделенным красным параметром Fast Copy «Разрешить использование коннекторов быстрого копирования»

  • Включено по умолчанию; отключайте в основном для диагностики
  • Параметры > Масштаб > Разрешить использование коннекторов быстрого копирования
  • Требовать быстрое копирование пропускает порог размера
  • Но обновление завершится ошибкой, если Fast Copy не сможет выполниться
Загрузка данных и семантические модели в Microsoft Fabric

Соотнесите причину и решение

Причина Решение
Слишком много данных Сократить заранее
Повторяющаяся подготовка Промежуточное хранение
Большой объём данных, лёгкие преобразования Fast Copy
Ветвление, уведомления, координация Pipeline
Нужна непрерывная репликация Mirroring
Объёмное объединение большой таблицы Перенос на источник (представление или свёрнутый запрос)
Инструмент не подходит для задачи Сменить инструмент
Загрузка данных и семантические модели в Microsoft Fabric

Давайте потренируемся!

Загрузка данных и семантические модели в Microsoft Fabric

Preparing Video For Download...