Pourquoi générer des caractéristiques?

Ingénierie des caractéristiques pour le Machine Learning en Python

Robert O'Callaghan

Director of Data Science, Ordergroove

Ingénierie des caractéristiques

Ingénierie des caractéristiques pour le Machine Learning en Python

Différents types de données

  • Continues : entiers (nombres entiers) ou flottants (décimaux)
  • Catégorielles : valeurs dans un ensemble limité, p. ex. genre, pays de naissance
  • Ordinales : valeurs classées, souvent sans distance définie entre elles
  • Booléennes : valeurs True/False
  • Dateheure : dates et heures
Ingénierie des caractéristiques pour le Machine Learning en Python

Structure du cours

  • Chapitre 1 : création et extraction de caractéristiques

  • Chapitre 2 : traiter les données brouillonnes

  • Chapitre 3 : normalisation des caractéristiques

  • Chapitre 4 : travailler avec des caractéristiques textuelles

Ingénierie des caractéristiques pour le Machine Learning en Python

Pandas

import pandas as pd  
df = pd.read_csv(path_to_csv_file)
print(df.head())
Ingénierie des caractéristiques pour le Machine Learning en Python

Ensemble de données

              SurveyDate  \
0    2018-02-28 20:20:00     
1    2018-06-28 13:26:00     
2    2018-06-06 03:37:00     
3    2018-05-09 01:06:00     
4    2018-04-12 22:41:00    

                              FormalEducation
0    Bachelor's degree (BA. BS. B.Eng.. etc.)
1    Bachelor's degree (BA. BS. B.Eng.. etc.)
2    Bachelor's degree (BA. BS. B.Eng.. etc.)
3    Some college/university study  ...
4    Bachelor's degree (BA. BS. B.Eng.. etc.)
Ingénierie des caractéristiques pour le Machine Learning en Python

Noms des colonnes

print(df.columns)

Index(['SurveyDate', 'FormalEducation',
       'ConvertedSalary', 'Hobby', 'Country',
       'StackOverflowJobsRecommend', 'VersionControl', 
       'Age', 'Years Experience', 'Gender', 
       'RawSalary'], dtype='object')
Ingénierie des caractéristiques pour le Machine Learning en Python

Types de colonnes

print(df.dtypes)

SurveyDate                            object
FormalEducation                       object
ConvertedSalary                      float64
...
Years Experience                       int64
Gender                                object
RawSalary                             object
dtype: object
Ingénierie des caractéristiques pour le Machine Learning en Python

Sélectionner des types précis

only_ints = df.select_dtypes(include=['int'])
print(only_ints.columns)

Index(['Age', 'Years Experience'], dtype='object')
Ingénierie des caractéristiques pour le Machine Learning en Python

Allons-y !

Ingénierie des caractéristiques pour le Machine Learning en Python

Preparing Video For Download...