Considerações finais

Feature Engineering com PySpark

John Hogue

Lead Data Scientist

O que você aprendeu!

• Inspecionar visualmente e estatisticamente
• Remover linhas e colunas
• Escalar e ajustar dados
• Tratar valores ausentes
• Unir conjuntos de dados externos

• Gerar features
• Extrair variáveis de campos bagunçados
• Fazer binning, bucketing e encoding
• Treinar e avaliar um modelo
• Interpretar resultados do modelo

Hora de aprender algo novo!

Feature Engineering com PySpark