Упровадження покращень продуктивності

Перетворення та аналіз даних у Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Стратегії оптимізації

  • Оптимізуйте дизайн елементів Fabric
  • Масштабуйтесь вертикально
  • Масштабуйтесь горизонтально
Перетворення та аналіз даних у Microsoft Fabric

Оптимізація SQL

  • Обмежуйте запити лише потрібними стовпцями та операціями

Приклад оператора SQL SELECT: замість вибору всіх стовпців обираємо лише потрібні

Перетворення та аналіз даних у Microsoft Fabric

Оптимізація SQL

  • Обмежуйте запити лише потрібними стовпцями та операціями
  • Використовуйте найменші можливі типи даних

Приклад оператора CREATE TABLE: тип числового стовпця змінено з BIGINT на INT

Перетворення та аналіз даних у Microsoft Fabric

Оптимізація SQL

  • Обмежуйте запити лише потрібними стовпцями та операціями
  • Використовуйте найменші можливі типи даних
  • Застосовуйте дизайн «зіркової» схеми (star schema)

Діаграма зіркової схеми з фактовою таблицею та пов'язаними таблицями вимірів

Перетворення та аналіз даних у Microsoft Fabric

Оптимізація SQL

  • Обмежуйте запити лише потрібними стовпцями та операціями
  • Використовуйте найменші можливі типи даних
  • Застосовуйте дизайн «зіркової» схеми
  • Використовуйте системні подання для моніторингу використання запитів
SELECT *
FROM sys.dm_exec_requests;
Перетворення та аналіз даних у Microsoft Fabric

Оптимізація ноутбуків

  • Використовуйте Spark History Server

Знімок екрана вебсторінки Spark UI

Перетворення та аналіз даних у Microsoft Fabric

Оптимізація ноутбуків

  • Використовуйте Spark History Server
  • Зупиняйте активні сесії Spark, коли вони не потрібні
Перетворення та аналіз даних у Microsoft Fabric

Оптимізація ноутбуків

  • Використовуйте Spark History Server
  • Зупиняйте активні сесії Spark, коли вони не потрібні
  • Під час об'єднання даних зменшуйте обсяг даних у пам'яті до виконання join
Перетворення та аналіз даних у Microsoft Fabric

Оптимізація потоків даних

  • Мінімізуйте дорогі операції, як-от сортування

Зразок потоку даних, де сортування прибрано, якщо воно не потрібне

Перетворення та аналіз даних у Microsoft Fabric

Оптимізація потоків даних

  • Мінімізуйте дорогі операції, як-от сортування
  • Query folding
    • Перекладайте обчислення на джерело даних

Крок потоку даних: без query folding обчислення відбувається поза джерелом; з query folding операцію виконує джерело даних

Перетворення та аналіз даних у Microsoft Fabric

Оптимізація потоків даних

  • Мінімізуйте дорогі операції, як-от сортування
  • Query folding
    • Перекладайте обчислення на джерело даних
  • Staging On/Off
    • Вимикайте для малих завантажень або простих перетворень
    • Увімикайте для великих завантажень або складніших перетворень

Знімок екрана з параметром Enable Staging у запиті потоку даних

Перетворення та аналіз даних у Microsoft Fabric

Масштабування вгору

  • Збільшіть розмір SKU
  • Вищий SKU = більше обчислювальних ресурсів

Таблиця доступних Fabric Azure SKU: від найменшого F2 до найбільшого F2048 v

Перетворення та аналіз даних у Microsoft Fabric

Масштабування вгору

Схема масштабування Fabric-місткості шляхом збільшення кількості v-core

Приклад: масштабування з F64 (8 v-core) до F128 (16 v-core)

Перетворення та аналіз даних у Microsoft Fabric

Масштабування вшир

  • Перемістіть частину елементів до іншої місткості Fabric.
  • Ізолюйте навантаження
    • Продуктивне проти непродуктивного середовища
    • Різні підрозділи бізнесу, наприклад окрема місткість для звітності керівництву
Перетворення та аналіз даних у Microsoft Fabric

Масштабування вшир

Схема масштабування Fabric-місткості шляхом додавання другої місткості та перенесення туди навантаження

Перетворення та аналіз даних у Microsoft Fabric

Давайте потренуємось!

Перетворення та аналіз даних у Microsoft Fabric

Preparing Video For Download...