Computação paralela

Introdução à Engenharia de Dados

Hadrien Lacroix

Content Developer at DataCamp

Computação paralela

Base das ferramentas modernas de processamento de dados
Necessária:
- Principalmente por causa da memória
- Também pela capacidade de processamento
Como funciona:
- Divisão das tarefas em várias subtarefas menores
- Distribuição dessas subtarefas em vários computadores

mil camisetas

assistente de vendas sênior

assistente de vendas júnior

¹ Emojis de Mohamed Hassan

um assistente de vendas por vez

camisetas em lote

assistentes de vendas júnior terminando em uma hora e quinze minutos

assistentes de vendas sênior terminando em duas horas e treze minutos

Benefícios e riscos da computação paralela

Funcionários = unidades de processamento
Vantagens
- Mais capacidade de processamento
- Menos quantidade de memória
Desvantagens
- A movimentação de dados acarreta um custo
- Tempo de comunicação

comparação do desempenho de assistentes de vendas juniores e seniores

leva dez minutos para distribuir as mil camisetas para os quatro assistentes juniores

leva cinco minutos para juntar as camisetas dos quatro assistentes juniores em uma única pilha

pipeline de dados

pipeline de dados

Resumo

Benefícios e riscos
Como é a implementação na Spotflix

Vamos praticar!

Introdução à Engenharia de Dados

Preparing Video For Download...