Реалізація зіркових схем

Перетворення та аналіз даних у Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Medallion Architecture

Діаграма медальної архітектури даних: дані з джерел потрапляють у шар bronze, перетворюються на очищені у шарі silver і далі у зіркову схему в шарі gold для аналітики

  • Шаблон проєктування для організації даних
  • Три окремі шари, що відображають поступове вдосконалення даних
Перетворення та аналіз даних у Microsoft Fabric

Medallion Architecture

Діаграма медальної архітектури даних із виділеним шаром Bronze

  • Bronze layer: Дані, отримані з джерела у первинному, сирому форматі.
Перетворення та аналіз даних у Microsoft Fabric

Medallion Architecture

Діаграма медальної архітектури даних із виділеним шаром Silver

  • Silver layer: Очищені та стандартизовані дані.
Перетворення та аналіз даних у Microsoft Fabric

Medallion Architecture

Діаграма медальної архітектури даних із виділеним шаром Gold

  • Gold layer: Дані у форматі для аналітики, зазвичай зіркова схема.
Перетворення та аналіз даних у Microsoft Fabric

Medallion Architecture in Fabric

Діаграма медальної архітектури даних у Fabric: конвеєри завантажують дані у lakehouse в шарі bronze; spark-ноутбуки та dataflows трансформують дані у lakehouse в шарі silver; далі дані перетворюються на зіркову схему у warehouse в шарі gold.

  • Bronze layer: Lakehouse
  • Silver layer: Lakehouse
  • Gold layer: Lakehouse або Warehouse
Перетворення та аналіз даних у Microsoft Fabric

Реалізація зіркової схеми

  • Використайте оператор T-SQL CREATE TABLE, щоб визначити таблиці.
  • Fabric підтримує найпоширеніші типи даних T-SQL.

Знімок інтерфейсу складу з розгорнутою схемою dw-sales, що містить факт-таблицю та кілька вимірних таблиць

Діаграма зіркової схеми

Перетворення та аналіз даних у Microsoft Fabric

Структура вимірної таблиці

  • Описують бізнес-сутності (напр., продукти).
  • Зазвичай мають такі стовпці:

Зразок вимірної таблиці Dim Product зі стовпцями Product ID, Product Key, Product Name і Product Brand

Перетворення та аналіз даних у Microsoft Fabric

Структура вимірної таблиці

  • Описують бізнес-сутності (напр., продукти).
  • Зазвичай мають такі стовпці:
    • Surrogate Key. Унікальний одноствопцевий ідентифікатор елементів виміру.

Зразок вимірної таблиці Dim Product зі стовпцями Product ID, Product Key, Product Name і Product Brand. Product ID виділено як surrogate key

Перетворення та аналіз даних у Microsoft Fabric

Структура вимірної таблиці

  • Описують бізнес-сутності (напр., продукти).
  • Зазвичай мають такі стовпці:
    • Surrogate Key. Унікальний одноствопцевий ідентифікатор елементів виміру.
    • Natural Key (Business Key). Унікальний одноствопцевий ідентифікатор із вихідних систем.

Зразок вимірної таблиці Dim Product зі стовпцями Product ID, Product Key, Product Name і Product Brand. Product Key виділено як natural key

Перетворення та аналіз даних у Microsoft Fabric

Структура вимірної таблиці

  • Описують бізнес-сутності (напр., продукти).
  • Зазвичай мають такі стовпці:
    • Surrogate Key. Унікальний одноствопцевий ідентифікатор елементів виміру.
    • Natural Key (Business Key). Унікальний одноствопцевий ідентифікатор із вихідних систем.
    • Dimension Attributes. Один або кілька стовпців для фільтрування та контексту даних у факт-таблиці.

Зразок вимірної таблиці Dim Product зі стовпцями Product ID, Product Key, Product Name і Product Brand. Product Name і Product Brand виділено як атрибути виміру

Перетворення та аналіз даних у Microsoft Fabric

Побудова вимірних таблиць

Скрипт T-SQL із оператором CREATE TABLE для створення прикладної вимірної таблиці dim_Product

Зразок вимірної таблиці Dim Product зі стовпцями Product ID, Product Key, Product Name і Product Brand. Product ID — surrogate key, Product Key — natural key, а Product Name і Product Brand — атрибути виміру

Перетворення та аналіз даних у Microsoft Fabric

Структура факт-таблиці

  • Описують бізнес-події (напр., продаж продукту).
  • Стовпці:

Зразок факт-таблиці Fact Sales зі стовпцями Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units і Sale Price

Перетворення та аналіз даних у Microsoft Fabric

Структура факт-таблиці

  • Описують бізнес-події (напр., продаж продукту).
  • Стовпці:
    • Dimension Keys. Посилання на surrogate keys вимірних таблиць.

Зразок факт-таблиці Fact Sales зі стовпцями Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units і Sale Price. Date ID, Store ID, Product ID, Customer ID і Payment ID виділено як dimension keys

Перетворення та аналіз даних у Microsoft Fabric

Структура факт-таблиці

  • Описують бізнес-події (напр., продаж продукту).
  • Стовпці:
    • Dimension Keys. Посилання на surrogate keys вимірних таблиць.
    • Attributes. Дають додаткові відомості про факт, але не є ні виміром, ні числовою мірою.

Зразок факт-таблиці Fact Sales зі стовпцями Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units і Sale Price. Packaging Notes і Sale Order Number виділено як attributes

Перетворення та аналіз даних у Microsoft Fabric

Структура факт-таблиці

  • Описують бізнес-події (напр., продаж продукту).
  • Стовпці:
    • Dimension Keys. Посилання на surrogate keys вимірних таблиць.
    • Attributes. Дають додаткові відомості про факт, але не є ні виміром, ні числовою мірою.
    • Measures. Кількісні показники факту; числові й зазвичай адитивні, напр., кількість одиниць, сума коштів тощо.

Зразок факт-таблиці Fact Sales зі стовпцями Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units і Sale Price. Sale Units і Sale Price виділено як measures

Перетворення та аналіз даних у Microsoft Fabric

Побудова факт-таблиць

Скрипт T-SQL із оператором CREATE TABLE для створення прикладної факт-таблиці fact_Sales

Зразок факт-таблиці Fact Sales зі стовпцями Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units і Sale Price

Перетворення та аналіз даних у Microsoft Fabric

Давайте потренуємось!

Перетворення та аналіз даних у Microsoft Fabric

Preparing Video For Download...