Quais são as camadas de um data warehouse?

Conceitos de Data Warehousing

Aaren Stubberfield

Data Scientist

Visão geral das camadas - fonte de dados

Visão geral das camadas - staging

Visão geral das camadas - armazenamento

Visão geral das camadas - apresentação

Camada de fonte de dados

• Todas as fontes de dados do data warehouse

• Exemplos de fontes:

  • Banco transacional
  • Arquivos de log
  • Planilhas

Camada de staging (preparo de dados)

• Camada que extrai, transforma e limpa dados via ETL
• Contém o processo ETL e tabelas de armazenamento

Processo de ETL na camada de staging

• Extraídos
• Regras de negócio aplicadas e dados limpos
• Banco de staging é comum
• Precisa extrair dados válidos
• Carga em lote / completa

Camada de armazenamento

• Dados ficam no warehouse e nos data marts
  • Data warehouse -> Data mart
  • Data mart -> Data warehouse

Camada de apresentação

• Usuários interagem com os dados armazenados
• Usuários:
  • Usam ferramentas de BI (Business Intelligence)
  • Usam ferramentas de mineração de dados
  • Criam consultas diretas

Resumo

Vamos praticar!

Conceitos de Data Warehousing