Integração de dados

Projeto de banco de dados

Lis Sulmont

Curriculum Manager

O que é integração de dados

 

 

 

A integração de dados junta dados de várias fontes, formatos e tecnologias para dar aos usuários uma visão traduzida e unificada desses dados.

Projeto de banco de dados

Exemplos de casos de negócios

  • Visão completa do cliente
  • Aquisição
  • Sistemas antigos
Projeto de banco de dados

Modelo de dados unificado

Ícone de banco de dados que representa um modelo de dados unificado

Projeto de banco de dados

Fontes de dados

Três fontes de dados sem conexão com o modelo de dados unificado

Projeto de banco de dados

Formato das fontes de dados

Três fontes de dados sem conexões com o modelo de dados unificado e com formatos diferentes

Projeto de banco de dados

Formato de modelo de dados unificado

Três fontes de dados com formatos diferentes, sem conexão com o modelo de dados unificado, que é um Redshift warehouse

Projeto de banco de dados

Exemplo: DataCamp

Três fontes de dados com formatos diferentes e de departamentos diferentes, sem conexão com o modelo de dados unificado, que é um warehouse Redshift

Projeto de banco de dados

Cadência de atualização - vendas

As três fontes de dados atualizadas diariamente

Projeto de banco de dados

Cadência de atualização - tráfego aéreo

As três fontes de dados atualizadas em tempo real

Projeto de banco de dados

Diferentes ritmos de atualização

As três fontes de dados atualizadas em momentos diferentes

Projeto de banco de dados

Tão simples assim?

As três fontes de dados se conectam ao modelo de dados unificado

Projeto de banco de dados

Não exatamente.

As três fontes de dados atualizadas diariamente com um grande X sobre elas

Projeto de banco de dados

Transformações

As três fontes de dados que estão sendo transformadas para se adequarem ao modelo de dados unificado

Projeto de banco de dados

Transformação - ferramentas

Processando as três fontes de dados via ETL para o modelo de dados unificado

Projeto de banco de dados

Escolhendo uma ferramenta de integração de dados

  • Flexível
  • Confiáveis
  • Escalável
Projeto de banco de dados

Testes automatizados e alertas proativos

Diagrama ETL com ícones de teste em cada fase

Projeto de banco de dados

Segurança

Diagrama ETL mostrando partes dos dados que devem ser restritas desde a fonte até o destino

Projeto de banco de dados

Segurança - anonimização do cartão de crédito

Diagrama ETL com anonimização de dados de cartão de crédito

Projeto de banco de dados

Governança de dados - linhagem

Diagrama ETL com uma linha que mostra o fluxo de dados da fonte até o destino

Projeto de banco de dados

Vamos praticar!

Projeto de banco de dados

Preparing Video For Download...