Вступ до конвеєрів даних у Fabric

Імпорт даних і семантичні моделі в Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Конвеєри даних у Microsoft Fabric

Дві основні високорівневі можливості в Data Factory:

  1. Data Pipelines — оркеструє переміщення даних. Конвеєри даних
  2. Dataflows — підтримує понад 300 перетворень у UI. Dataflows

Конвеєри даних у Microsoft Fabric:

  • Автоматизує ETL з мінімумом або без коду.
  • Безшовно інтегрує різні джерела даних
  • Багатий набір дій для завантаження та трансформації даних
  • Запускайте вручну або за розкладом за допомогою тригерів
1 https://learn.microsoft.com/en-us/fabric/data-factory/data-factory-overview
Імпорт даних і семантичні моделі в Microsoft Fabric

Дії в конвеєрах даних

Дії — це завдання в конвеєрах, що оркеструють обробку даних і автоматизацію робочого процесу. Конвеєр на автовиробництві як ілюстрація дій у конвеєрі даних

1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Імпорт даних і семантичні моделі в Microsoft Fabric

Типи дій

  1. Move & Transform:
    • Виконує перенесення та перетворення даних
    • (напр., Copy data Copy data).
  2. Metadata & Validation:
    • Перевіряє якість даних і отримує метадані
    • (напр., LookupLookup).
  3. Control Flow:
    • Керує послідовністю завдань за умовами та циклами
    • (напр., If condition If condition, ForEach If condition).
1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Імпорт даних і семантичні моделі в Microsoft Fabric

Типи дій

  1. Orchestrate:

    • Синхронізує кілька процесів
    • (напр., Invoke Pipeline Invoke Pipeline).

  2. Notifications:

    • Надсилає сповіщення та оновлення email або в месенджерах
    • (напр., 365 Outlook365 Outlook, TeamsTeams).

  3. Transform:

    • Виконує маніпуляції з даними за бізнес-логікою
    • (напр., NotebookNotebook, Stored ProcedureStored Procedure).
Імпорт даних і семантичні моделі в Microsoft Fabric

Параметри та змінні конвеєра

Параметри та змінні дають змогу динамічно керувати поведінкою конвеєра.

Параметри:

  • Задаються під час виконання: Керуйте поведінкою конвеєра зовнішніми вхідними даними.
  • Глобальна область: Впливають на весь запуск конвеєра.

Змінні:

  • Динамічне відстеження: Значення змінюються під час виконання конвеєра.
  • Локальна область: Керує даними в окремих діях конвеєра.
1 https://learn.microsoft.com/en-us/fabric/data-factory/parameters 2 https://learn.microsoft.com/en-us/fabric/data-factory/set-variable-activity
Імпорт даних і семантичні моделі в Microsoft Fabric

Запуски конвеєра

Запуск конвеєра виконує дії у вашому конвеєрі до завершення.

  • On-Demand: Запускайте конвеєри безпосередньо з Fabric UI. On-Demand Run
  • Scheduled: Запуск за певною періодичністю. Scheduled Run

Моніторинг:

  • Відстежуйте кожен запуск за унікальним Run ID на вкладці Monitor.

Валідація:

  • Перевіряйте коректність конфігурації за допомогою опції Validate перед виконанням.
1 https://learn.microsoft.com/en-us/fabric/data-factory/pipeline-runs
Імпорт даних і семантичні моделі в Microsoft Fabric

Давайте потренуємось!

Імпорт даних і семантичні моделі в Microsoft Fabric

Preparing Video For Download...