Введение в Dataflows Gen2

Приём данных и семантические модели в Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Dataflows Gen2 в Microsoft Fabric

  • Что такое Dataflows Gen2?

    • Инструмент для преобразования и загрузки данных

    Dataflows Gen 2

  • Ключевые возможности:

    • Более 300 сложных преобразований (объединение, сводные таблицы и др.)
    • Гибкие настройки схемы для динамической кастомизации
    • Промежуточное хранение и быстрое копирование: обработка больших объёмов данных
    • Бесшовная интеграция с конвейерами данных
Приём данных и семантические модели в Microsoft Fabric

Обзор интерфейса Dataflows Gen2

Dataflows Gen2 использует Power Query Online для удобного и интуитивного преобразования данных. Dataflow Gen 2 Interface

Приём данных и семантические модели в Microsoft Fabric

Компоненты интерфейса Dataflows Gen2

  • Лента Power Query — подключение источников данных и применение преобразований Power Query Ribbon

  • Панель запросов: управление, переименование и включение промежуточного хранения для источников данных.

Queries

Приём данных и семантические модели в Microsoft Fabric

Компоненты интерфейса Dataflows Gen2

  • Представление диаграммы: визуализация источников данных и преобразований Diagram View

  • Панель предварительного просмотра данных: просмотр данных и работа с ними

    Data Preview Pane

Приём данных и семантические модели в Microsoft Fabric

Компоненты интерфейса Dataflows Gen2

  • Панель параметров запроса: отслеживание и изменение применённых шагов

Query settings

Приём данных и семантические модели в Microsoft Fabric

Поддерживаемые места назначения данных в Dataflows Gen2

Dataflows Gen2 позволяет задать назначение для каждого запроса, обеспечивая гибкость в хранении данных.

Поддерживаемые места назначения:

  • Azure SQL Databases
  • Azure Data Explorer (Kusto)
  • Fabric Lakehouse
  • Fabric Warehouse
  • Fabric KQL Database

Supported Destination for Dataflows Gen2

Приём данных и семантические модели в Microsoft Fabric

Интеграция Dataflows Gen2 в конвейеры данных

Зачем интегрировать?
Выполняйте дополнительные операции над преобразованными данными и автоматизируйте рабочие процессы

dataflow pipeline activity

  • Добавьте Dataflows Gen2 как действие конвейера.
  • Идеально для дополнительных операций над преобразованными данными.
  • Автоматизируйте Dataflows в рамках конвейера.
  • Отслеживайте производительность в режиме реального времени.

Integratining DataFlows in Data Pipeline

Приём данных и семантические модели в Microsoft Fabric

Давайте потренируемся!

Приём данных и семантические модели в Microsoft Fabric

Preparing Video For Download...