Dicas de dimensionamento de cluster

Limpeza de dados com o PySpark

Mike Metzger

Data Engineering Consultant

Opções de configuração

  • O Spark tem muitas configurações
  • Você pode ajustá-las conforme a necessidade
  • Ler configurações:
    spark.conf.get(<configuration name>)
  • Escrever configurações
    spark.conf.set(<configuration name>)
Limpeza de dados com o PySpark

Tipos de cluster

Opções de deployment do Spark:

  • Single node
  • Standalone
  • Gerenciado
    • YARN
    • Mesos
    • Kubernetes
Limpeza de dados com o PySpark

Driver

  • Atribuição de tarefas
  • Consolidação de resultados
  • Acesso compartilhado a dados

Dicas:

  • O driver deve ter o dobro da memória de um worker
  • Armazenamento local rápido ajuda
Limpeza de dados com o PySpark

Worker

  • Executa as tarefas
  • Idealmente tem todo o código, dados e recursos da tarefa

Recomendações:

  • Mais nós de worker geralmente é melhor que workers maiores
  • Teste para achar o equilíbrio
  • Armazenamento local rápido é muito útil
Limpeza de dados com o PySpark

Vamos praticar!

Limpeza de dados com o PySpark

Preparing Video For Download...