Introduction à la validation de modèle

Validation de modèles en Python

Kasey Jones

Data Scientist

Qu'est-ce que la validation de modèle ?

La validation de modèle consiste à :

  • Vérifier que le modèle fonctionne bien sur de nouvelles données
  • Tester la performance sur des jeux de données de validation
  • Choisir le meilleur modèle, les bons paramètres et les bonnes mesures
  • Obtenir la meilleure exactitude pour les données données
Validation de modèles en Python

Rappel : modélisation avec scikit-learn

Étapes de base du modélisation :

model = RandomForestRegressor(n_estimators=500, random_state=1111)

model.fit(X=X_train, y=y_train)

RandomForestRegressor(bootstrap=True, criterion='mse', max_depth=None,
           max_features='auto', max_leaf_nodes=None,
           min_impurity_decrease=0.0, min_impurity_split=None,
           min_samples_leaf=1, min_samples_split=2,
           min_weight_fraction_leaf=0.0, n_estimators=500, n_jobs=1,
           oob_score=False, random_state=1111, verbose=0, warm_start=False)
Validation de modèles en Python

Rappel de la modélisation (suite)

predictions = model.predict(X_test)

print("{0:.2f}".format(mae(y_true=y_test, y_pred=predictions)))

10.84

Formule de l'erreur absolue moyenne

$$ \frac{\sum_{i=1}^{n} |y_i - \hat{y}_i|}{n} $$

Validation de modèles en Python

Préalables à revoir

Validation de modèles en Python

Fivethirtyeight propose plusieurs jeux de données, dont le classement de bonbons d'Halloween. Chaque bonbon a un pourcentage de victoires en duel entre 0 et 100 %.

Validation de modèles en Python

Données vues vs non vues

Données d'entraînement = données vues

model = RandomForestRegressor(n_estimators=500, random_state=1111)
model.fit(X_train, y_train)
train_predictions = model.predict(X_train)

Données de test = données non vues

model = RandomForestRegressor(n_estimators=500, random_state=1111)
model.fit(X_train, y_train)
test_predictions = model.predict(X_test)
Validation de modèles en Python

Commençons !

Validation de modèles en Python

Preparing Video For Download...