Решения для хранения данных и создание объектов SQL

Приём данных и семантические модели в Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Обзор: OneLake, Lakehouse и Warehouse

OneLake: единое хранилище в Microsoft Fabric, интегрированное с каждым арендатором. Устраняет дублирование данных и поддерживает форматы Delta Parquet, CSV и JSON.

Характеристика	Lakehouse	Warehouse
Тип данных	Структурированные и неструктурированные	Только структурированные
Преобразования	Notebooks, Dataflows (Gen2), Data Pipelines	Data Pipelines, Dataflows (Gen2), преобразования на основе SQL
SQL-эндпоинт	Только чтение	Чтение и запись

OneLake в Microsoft Fabric

Коннекторы в Microsoft Fabric

Коннекторы связывают Fabric с различными облачными и локальными источниками данных.

Применение: Pipelines, Dataflows, Shortcuts, Semantic Models, KQL Databases и др.
Общий доступ: централизованы и доступны всей организации — без дублирования версий.
Повторное использование: созданный коннектор можно применять в других поддерживаемых элементах.
Функциональность: аналог Linked Services в ADF/Synapse.

Подключения в Microsoft Fabric

Создание хранимых процедур в Microsoft Fabric

Хранимая процедура: объект SQL для выполнения заранее определённых задач.
Создание: поддерживается в Lakehouse и Warehouse
Интеграция с Pipeline: добавляется в Data Pipelines с помощью действия Stored Procedure.

Хранимые процедуры в Warehouse

Создание представлений в Microsoft Fabric

Представления (Views): виртуальные таблицы на основе SQL-запросов для упрощённого доступа к данным.
Создание: с помощью команды T-SQL или опции «Save as View» в интерфейсе.
Создание поддерживается в Lakehouse и Warehouse
Ускоряют выполнение запросов за счёт кэширования.

Представления в Warehouse

Давайте потренируемся!

Приём данных и семантические модели в Microsoft Fabric