Введение в конвейеры данных Fabric

Приём данных и семантические модели в Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Конвейеры данных в Microsoft Fabric

Два ключевых компонента Data Factory:

  1. Конвейеры данных — оркестрация перемещения данных. Конвейеры данных
  2. Потоки данных — более 300 UI-преобразований данных. Потоки данных

Конвейеры данных в Microsoft Fabric:

  • Автоматизируют процесс ETL с минимальным кодом или без него.
  • Поддерживают интеграцию разнородных источников данных
  • Богатый набор действий для загрузки и преобразования данных
  • Запуск вручную или по расписанию с помощью триггеров
1 https://learn.microsoft.com/en-us/fabric/data-factory/data-factory-overview
Приём данных и семантические модели в Microsoft Fabric

Действия в конвейерах данных

Действия — это задачи внутри конвейеров, управляющие обработкой данных и автоматизацией рабочих процессов. Автосборочная линия как иллюстрация действий в конвейере данных

1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Приём данных и семантические модели в Microsoft Fabric

Типы действий

  1. Перемещение и преобразование:
    • Передача и преобразование данных
    • (например, Copy data Copy data).
  2. Метаданные и проверка:
    • Контроль качества данных и получение метаданных.
    • (например, LookupLookup).
  3. Управление потоком:
    • Управление последовательностью задач по условиям и циклам.
    • (например, If condition If condition, ForEach If condition).
1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Приём данных и семантические модели в Microsoft Fabric

Типы действий

  1. Оркестрация:

    • Синхронизация нескольких процессов
    • (например, Invoke Pipeline Invoke Pipeline).

  2. Уведомления:

    • Отправка оповещений по электронной почте или в мессенджерах
    • (например, 365 Outlook365 Outlook, TeamsTeams).

  3. Преобразование:

    • Обработка данных в соответствии с бизнес-логикой.
    • (например, NotebookNotebook, Stored ProcedureStored Procedure).
Приём данных и семантические модели в Microsoft Fabric

Параметры и переменные конвейера

Параметры и переменные обеспечивают динамическое управление поведением конвейера.

Параметры:

  • Задаются при запуске: управляют поведением конвейера через внешние входные данные.
  • Глобальная область: влияют на выполнение всего конвейера.

Переменные:

  • Динамическое отслеживание: значения меняются в ходе выполнения конвейера.
  • Локальная область: управляют данными внутри конкретных действий конвейера.
1 https://learn.microsoft.com/en-us/fabric/data-factory/parameters 2 https://learn.microsoft.com/en-us/fabric/data-factory/set-variable-activity
Приём данных и семантические модели в Microsoft Fabric

Запуски конвейера

Запуск конвейера выполняет все действия до завершения.

  • По требованию: запуск напрямую из интерфейса Fabric. Запуск по требованию
  • По расписанию: запуск с заданной периодичностью. Запуск по расписанию

Мониторинг:

  • Отслеживайте каждый запуск конвейера по уникальному Run ID во вкладке Monitor.

Проверка:

  • Убедитесь в корректности конфигурации с помощью функции Validate перед запуском.
1 https://learn.microsoft.com/en-us/fabric/data-factory/pipeline-runs
Приём данных и семантические модели в Microsoft Fabric

Давайте потренируемся!

Приём данных и семантические модели в Microsoft Fabric

Preparing Video For Download...