O que é engenharia de dados?

Introdução à Engenharia de Dados

Vincent Vankrunkelsven

Data Engineer @ DataCamp

O que esperar

  • Capítulo 1
    • O que é engenharia de dados?
  • Capítulo 2
    • Ferramentas usadas por engenheiros de dados
  • Capítulo 3
    • Extrair
    • Transformar
    • Carregar
  • Capítulo 4
    • Engenharia de dados na DataCamp!
Introdução à Engenharia de Dados

Entra em cena o engenheiro de dados

 

  • Dados espalhados
  • Não otimizados para análises
  • Código legado gera dados corrompidos

 

Engenheiro(a) de dados para o resgate!

Engenheira

Imagem de um esquema de banco de dados representando dados espalhados

Imagem representando um erro de computador

Introdução à Engenharia de Dados

Engenheiros de dados: facilitando sua vida

 

  • Reúne dados de várias fontes
  • Banco otimizado para análises
  • Removeu dados corrompidos

 

A vida do(a) cientista de dados ficou bem mais fácil!

 

Diagrama do processo de ingestão de dados

Introdução à Engenharia de Dados

Definição do cargo

Profissional que desenvolve, constrói, testa e mantém arquiteturas como bancos de dados e sistemas de processamento em larga escala

  • Processamento de grandes volumes de dados
  • Uso de clusters de máquinas
Introdução à Engenharia de Dados

Engenheiro(a) de Dados vs. Cientista de Dados

Engenheiro(a) de Dados

  • Desenvolve arquitetura de dados escalável
  • Simplifica a aquisição de dados
  • Configura processos para integrar dados
  • Limpa dados corrompidos
  • Domina tecnologias de nuvem

Cientista de Dados

  • Minerar dados por padrões
  • Modelagem estatística
  • Modelos preditivos com ML
  • Monitorar processos de negócio
  • Tratar outliers nos dados
Introdução à Engenharia de Dados

Vamos praticar!

Introdução à Engenharia de Dados

Preparing Video For Download...