Реализация схем «звезда»

Преобразование и анализ данных с Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Медальонная архитектура

Диаграмма медальонной архитектуры данных: данные из источников поступают в бронзовый слой, преобразуются в очищенные данные в серебряном слое и далее трансформируются в схему «звезда» в золотом слое для аналитики

  • Шаблон организации данных
  • Три отдельных слоя, отражающих последовательное преобразование данных
Преобразование и анализ данных с Microsoft Fabric

Медальонная архитектура

Диаграмма медальонной архитектуры данных с выделенным бронзовым слоем

  • Бронзовый слой: данные из источника в исходном необработанном формате.
Преобразование и анализ данных с Microsoft Fabric

Медальонная архитектура

Диаграмма медальонной архитектуры данных с выделенным серебряным слоем

  • Серебряный слой: очищенные и стандартизированные данные.
Преобразование и анализ данных с Microsoft Fabric

Медальонная архитектура

Диаграмма медальонной архитектуры данных с выделенным золотым слоем

  • Золотой слой: данные в формате, пригодном для аналитики, как правило в виде схемы «звезда».
Преобразование и анализ данных с Microsoft Fabric

Медальонная архитектура в Fabric

Диаграмма медальонной архитектуры в Fabric: конвейеры данных загружают данные из источников в озеро данных в бронзовом слое; Spark-ноутбуки и потоки данных преобразуют их в озеро данных в серебряном слое; в золотом слое данные трансформируются в схему «звезда» в хранилище.

  • Бронзовый слой: Lakehouse
  • Серебряный слой: Lakehouse
  • Золотой слой: Lakehouse или Warehouse
Преобразование и анализ данных с Microsoft Fabric

Реализация схемы «звезда»

  • Таблицы создаются с помощью оператора T-SQL CREATE TABLE.
  • Fabric поддерживает наиболее распространённые типы данных T-SQL.

Снимок экрана с разметкой хранилища: схема dw-sales развёрнута и содержит таблицу фактов и несколько таблиц измерений

Диаграмма схемы «звезда»

Преобразование и анализ данных с Microsoft Fabric

Структура таблицы измерений

  • Описывают бизнес-сущности (например, товары).
  • Как правило, содержат следующие столбцы:

Пример таблицы измерений Dim Product со столбцами Product ID, Product Key, Product Name и Product Brand

Преобразование и анализ данных с Microsoft Fabric

Структура таблицы измерений

  • Описывают бизнес-сущности (например, товары).
  • Как правило, содержат следующие столбцы:
    • Суррогатный ключ. Однозначный уникальный идентификатор элемента измерения в одном столбце.

Пример таблицы измерений Dim Product со столбцами Product ID, Product Key, Product Name и Product Brand. Product ID выделен как суррогатный ключ

Преобразование и анализ данных с Microsoft Fabric

Структура таблицы измерений

  • Описывают бизнес-сущности (например, товары).
  • Как правило, содержат следующие столбцы:
    • Суррогатный ключ. Однозначный уникальный идентификатор элемента измерения в одном столбце.
    • Натуральный ключ (бизнес-ключ). Уникальный идентификатор из исходных систем в одном столбце.

Пример таблицы измерений Dim Product со столбцами Product ID, Product Key, Product Name и Product Brand. Product Key выделен как натуральный ключ

Преобразование и анализ данных с Microsoft Fabric

Структура таблицы измерений

  • Описывают бизнес-сущности (например, товары).
  • Как правило, содержат следующие столбцы:
    • Суррогатный ключ. Однозначный уникальный идентификатор элемента измерения в одном столбце.
    • Натуральный ключ (бизнес-ключ). Уникальный идентификатор из исходных систем в одном столбце.
    • Атрибуты измерения. Один или несколько столбцов для фильтрации данных и контекстуализации данных в таблице фактов.

Пример таблицы измерений Dim Product со столбцами Product ID, Product Key, Product Name и Product Brand. Product Name и Product Brand выделены как атрибуты измерения

Преобразование и анализ данных с Microsoft Fabric

Создание таблиц измерений

Скрипт T-SQL с оператором CREATE TABLE для создания таблицы измерений dim_Product

Пример таблицы измерений Dim Product со столбцами Product ID, Product Key, Product Name и Product Brand. Product ID — суррогатный ключ, Product Key — натуральный ключ, Product Name и Product Brand — атрибуты измерения

Преобразование и анализ данных с Microsoft Fabric

Структура таблицы фактов

  • Описывают бизнес-события (например, продажу товара).
  • Столбцы:

Пример таблицы фактов Fact Sales со столбцами Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units и Sale Price

Преобразование и анализ данных с Microsoft Fabric

Структура таблицы фактов

  • Описывают бизнес-события (например, продажу товара).
  • Столбцы:
    • Ключи измерений. Ссылки на суррогатные ключи таблиц измерений.

Пример таблицы фактов Fact Sales со столбцами Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units и Sale Price. Date ID, Store ID, Product ID, Customer ID и Payment ID выделены как ключи измерений

Преобразование и анализ данных с Microsoft Fabric

Структура таблицы фактов

  • Описывают бизнес-события (например, продажу товара).
  • Столбцы:
    • Ключи измерений. Ссылки на суррогатные ключи таблиц измерений.
    • Атрибуты. Дополнительная информация о факте, не являющаяся ни измерением, ни числовой мерой.

Пример таблицы фактов Fact Sales со столбцами Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units и Sale Price. Packaging Notes и Sale Order Number выделены как атрибуты

Преобразование и анализ данных с Microsoft Fabric

Структура таблицы фактов

  • Описывают бизнес-события (например, продажу товара).
  • Столбцы:
    • Ключи измерений. Ссылки на суррогатные ключи таблиц измерений.
    • Атрибуты. Дополнительная информация о факте, не являющаяся ни измерением, ни числовой мерой.
    • Меры. Количественные характеристики факта; числовые значения, как правило суммируемые, — например, количество единиц, сумма в денежном выражении и т. д.

Пример таблицы фактов Fact Sales со столбцами Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units и Sale Price. Sale Units и Sale Price выделены как меры

Преобразование и анализ данных с Microsoft Fabric

Создание таблиц фактов

Скрипт T-SQL с оператором CREATE TABLE для создания таблицы фактов fact_Sales

Пример таблицы фактов Fact Sales со столбцами Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units и Sale Price

Преобразование и анализ данных с Microsoft Fabric

Давайте потренируемся!

Преобразование и анализ данных с Microsoft Fabric

Preparing Video For Download...