Підсумки

Опрацювання ознак у PySpark

John Hogue

Lead Data Scientist

Що ви вивчили!

• Візуальний і статистичний огляд
• Видалення рядків і стовпців
• Масштабування та коригування даних
• Обробка пропусків
• Об'єднання зовнішніх наборів даних

• Генерування ознак
• Вилучення змінних із «брудних» полів
• Бінінг, групування та кодування
• Навчання й оцінювання моделі
• Тлумачення результатів моделі

Час вивчити щось нове!

Опрацювання ознак у PySpark