Arquiteturas de data warehouse

Conceitos de Data Warehousing

Aaren Stubberfield

Data Scientist

Inmon - top-down

Ícone de data warehouse

Inmon - top-down

Ícone de data warehouse

É preciso decidir:

Todas as definições, limpeza e regras de negócio
Antes de qualquer dado entrar no warehouse

Inmon - top-down

imagem de dois ícones de banco de dados com setas apontando para uma seta chamada ETL que aponta para um ícone de data warehouse

Inmon - top-down

imagem de dois ícones de banco de dados com setas apontando para uma seta chamada ETL que aponta para um ícone de data warehouse, com setas apontando para dois ícones de data mart e depois para um ícone de pessoa no computador, um ícone de relatórios e um ícone de lupa

Prós e contras do top-down

Vantagens:

Fonte única de verdade para a organização
Normalização = menos armazenamento
Fácil ajustar data marts para novas demandas de relatórios

Desvantagens:

Mais joins = resposta mais lenta
Muito trabalho inicial
- Custo inicial mais alto

Kimball - bottom-up

Imagem de dois ícones de banco de dados com setas apontando para uma seta chamada ETL e setas apontando para dois ícones de data mart

Desnormaliza os dados
Foco no data mart departamental
Dados vão direto do ETL para os data marts

Kimball - bottom-up

Imagem de dois ícones de banco de dados com setas apontando para uma seta chamada ETL e setas apontando para dois ícones de data mart com setas apontando para um ícone de data warehouse, com setas para um ícone de pessoa no computador, um ícone de relatórios e um ícone de lupa

Prós e contras do bottom-up

Vantagens:

Desenvolvimento inicial rápido
- Menor custo inicial
Desnormalizado = mais amigável ao usuário

Desvantagens:

Mais tempo de processamento no ETL
Maior chance de dados duplicados
Exige desenvolvimento contínuo

Vamos praticar!

Conceitos de Data Warehousing