Внедрение улучшений производительности

Преобразование и анализ данных с Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Стратегии оптимизации

• Оптимизация структуры элементов Fabric
• Вертикальное масштабирование
• Горизонтальное масштабирование

Оптимизация SQL

• Ограничивайте запросы только необходимыми столбцами и операциями

Оптимизация SQL

• Ограничивайте запросы только необходимыми столбцами и операциями
• Используйте минимально возможные типы данных

Оптимизация SQL

• Ограничивайте запросы только необходимыми столбцами и операциями
• Используйте минимально возможные типы данных
• Применяйте схему «звезда»

Оптимизация SQL

• Ограничивайте запросы только необходимыми столбцами и операциями
• Используйте минимально возможные типы данных
• Применяйте схему «звезда»
• Используйте системные представления для мониторинга запросов

SELECT *
FROM sys.dm_exec_requests;

Оптимизация ноутбуков

• Используйте Spark History Server

Оптимизация ноутбуков

• Используйте Spark History Server
• Останавливайте активные сессии Spark, когда они не нужны

Оптимизация ноутбуков

• Используйте Spark History Server
• Останавливайте активные сессии Spark, когда они не нужны
• При объединении данных сокращайте объём данных в памяти до выполнения операции join

Оптимизация потоков данных

• Избегайте затратных операций, например сортировки

Оптимизация потоков данных

• Избегайте затратных операций, например сортировки
• Свёртка запросов (query folding)
  • Передавайте задачи обработки источнику данных

Оптимизация потоков данных

• Избегайте затратных операций, например сортировки
• Свёртка запросов (query folding)
  • Передавайте задачи обработки источнику данных
• Промежуточное хранение (вкл./выкл.)
  • Отключайте для небольших загрузок или простых преобразований
  • Включайте для крупных загрузок или сложных преобразований

Вертикальное масштабирование

• Увеличьте размер SKU
• Более высокий SKU = больше вычислительных мощностей

v

Вертикальное масштабирование

Пример: переход с F64 (8 виртуальных ядер) на F128 (16 виртуальных ядер)

Горизонтальное масштабирование

• Перенесите часть элементов на другую ёмкость Fabric.
• Изолируйте рабочие нагрузки
  • Рабочая среда и среда разработки
  • Разные подразделения бизнеса, например отдельная ёмкость для executive-отчётности

Горизонтальное масштабирование

Давайте потренируемся!

Преобразование и анализ данных с Microsoft Fabric