Engenharia de Dados no Microsoft Fabric

Transforme e analise dados com o Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Analytics de Dados de Ponta a Ponta

Diagrama mostrando os componentes de uma solução de analytics de dados de ponta a ponta, incluindo fontes de dados, ingestão, preparo e transformação, armazenamento, consulta e visualização e análise

Ingerir dados da fonte e armazenar em um data lake
Preparar e transformar os dados
Visualizar e analisar os dados

Data Factory

Diagrama mostrando os componentes de uma solução de analytics de dados de ponta a ponta, destacando Data Pipelines no componente Ingest e Dataflows no componente Prepare and Transform

Ingerir, preparar e transformar dados
Dataflows e Data Pipelines

Dataflows

Interface low-code para ingestão e transformação
Mecanismo de transformação Power Query

Captura de tela do designer de Dataflow mostrando um dataflow de ingestão de exemplo

Data Pipelines

Conjunto de atividades que executam uma tarefa
Tipos de atividades:
- Movimentação de dados (Copy activity, Dataflow)
- Transformação de dados (Notebook, Stored Procedure, Script)
- Controle (Switch, If, ForEach, Wait)

Captura de tela do designer de Data Pipeline mostrando um pipeline de ingestão de exemplo com uma Copy activity e uma Dataflow activity

Synapse Data Engineering

Diagrama mostrando os componentes de uma solução de analytics de dados de ponta a ponta, destacando itens de Lakehouse no componente Store e Notebooks e Spark job no componente Prepare and Transform

Lakehouses
Notebooks
Definições de Apache Spark Job

Lakehouses

Dados estruturados (tabelas)
Dados não estruturados (arquivos)

Captura de tela do Lakehouse Explorer no portal do Fabric, mostrando um Lakehouse com Tables e Files

Notebooks

Interface web interativa
- Código de manipulação de dados
- Visualizações de dados
- Comentários / explicações
Suporte multilíngue:
- PySpark (Python)
- Spark (Scala)
- Spark SQL (SQL)
- SparkR (R)

Captura de tela do editor de Notebook, mostrando um notebook de exemplo com descrições em texto, código Python e um gráfico de histograma

Definições de Apache Spark Job

Enviar jobs em lote/streaming para clusters Spark
Alternativa ou complemento aos Notebooks:
- Notebooks para exploração, prototipagem e desenvolvimento colaborativo
- Spark Job Definition para automatizar código de processamento pronto para produção

Captura de tela de uma definição de Spark Job mostrando parâmetros de configuração

Synapse Data Warehouse

Diagrama mostrando os componentes de uma solução de analytics de dados de ponta a ponta, destacando itens de Warehouse no componente Store

Comporta-se como um data warehouse relacional tradicional
Armazena dados no OneLake usando o formato aberto Delta Lake
Permite interoperar com outras workloads do Fabric
Sem necessidade de múltiplas cópias de dados

Escolhendo um Armazenamento de Dados

Lakehouse
- Dados não estruturados (arquivos)
- Spark como principal interface de desenvolvimento

Warehouse
- Dados estruturados (tabelas)
- T-SQL como principal interface de desenvolvimento

Escolhendo uma Ferramenta de Cópia de Dados

Tabela que resume aspectos a considerar ao escolher entre Pipeline Copy Activity, Dataflow e Spark. Aspectos incluem quantidade de código exigida, habilidades do desenvolvedor, fontes de dados e complexidade da transformação

Escolhendo uma Ferramenta de Cópia de Dados

Vamos praticar!

Transforme e analise dados com o Microsoft Fabric