Engenharia de dados e big data

Introdução à Engenharia de Dados

Hadrien Lacroix

Content Developer at DataCamp

Sobre o curso

• Curso conceitual
• Não há programação envolvida
• Objetivos
  • Capacidade de interagir com engenheiros de dados
  • Proporcionar uma base sólida para aprender mais

Capítulo 1

O que é engenharia de dados?

1. Engenharia de dados e big data
2. Engenheiros de dados x cientistas de dados
3. Pipeline de dados

Capítulo 2

Como funciona o armazenamento de dados

1. Dados estruturados x não estruturados
2. SQL
3. Data warehouse e data lakes

Capítulo 3

Como movimentar e processar dados

1. Processamento de dados
2. Agendamento de dados
3. Computação paralela
4. Computação em nuvem

$$

$$

$$

Fluxo de trabalho de dados

Fluxo de trabalho de dados

Fluxo de trabalho de dados

Fluxo de trabalho de dados

Engenheiros de dados

Engenheiros de dados

Os engenheiros de dados disponibilizam:

• os dados corretos
• na forma correta
• para as pessoas certas
• da forma mais eficiente possível

Responsabilidades de um engenheiro de dados

• Dar entrada nos dados de diferentes fontes
• Otimizar bancos de dados para análise
• Remover dados corrompidos
• Desenvolver, construir, testar e manter arquiteturas de dados

Engenheiros de dados e big data

• O big data se torna a norma =>

Engenheiros de dados e big data

• O big data se torna a norma => os engenheiros de dados são cada vez mais necessários
• Big data:
  • Você precisa pensar em como lidar com o tamanho dos dados
  • Os grandes métodos tradicionais não funcionam mais

Crescimento do big data

• Sensores e dispositivos
• Redes sociais
• Dados corporativos
• VoIP (comunicação de voz, sessões multimídia)

¹ Data Age 2025, Seagate, novembro de 2018

Os cinco Vs

• Volume (quanto?)
• Variedade (de que tipo?)
• Velocidade (com que frequência?)
• Veracidade (qual é a precisão?)
• Valor (qual é a utilidade?)

Resumo

• O que vem por aí
• Como os dados fluem em uma organização
• Quando um engenheiro de dados intervém
• Quais são suas responsabilidades
• Como a engenharia de dados se relaciona com o big data

Vamos praticar!

Introdução à Engenharia de Dados