Réduction de dimension : extraction de caractéristiques

S’entraîner aux questions d’entretien en Machine Learning avec Python

Lisa Stuart

Data Scientist

Méthodes d'apprentissage non supervisé

  • Analyse en composantes principales (PCA) --> Leçon 3.1
  • Décomposition en valeurs singulières (SVD) --> Leçon 3.1
  • Regroupement/clustering --> Leçon 3.3
  • Exploration de données
S’entraîner aux questions d’entretien en Machine Learning avec Python

Réduction de dimension != sélection de caractéristiques

Graphique PCA

Sélection de caractéristiques

1 https://slideplayer.com/slide/9699240/ 2 https://www.analyticsvidhya.com/blog/2016/03/practical-guide-principal-component-analysis-python/
S’entraîner aux questions d’entretien en Machine Learning avec Python

Fléau de la dimensionnalité

Dimensionnalité vs performance

1 https://www.visiondummy.com/2014/04/curse-dimensionality-affect-classification/
S’entraîner aux questions d’entretien en Machine Learning avec Python

Recherche 1D

Espace de recherche 1D

S’entraîner aux questions d’entretien en Machine Learning avec Python

Recherche 2D

Espace de recherche 2D

S’entraîner aux questions d’entretien en Machine Learning avec Python

Recherche 3D

Espace de recherche 3D

S’entraîner aux questions d’entretien en Machine Learning avec Python

Méthodes de réduction de dimension

  • PCA
  • SVD
S’entraîner aux questions d’entretien en Machine Learning avec Python

PCA

Graphique PCA sur Iris

  • PCA
    • Relation entre X et y
    • Calculée via les axes principaux
    • Translate, fait pivoter et met à l'échelle
    • Projection en dimension inférieure des données
1 https://scikit-learn.org/stable/modules/decomposition.html
S’entraîner aux questions d’entretien en Machine Learning avec Python

SVD

Graphique SVD sur Iris

  • SVD
    • Algèbre linéaire et calcul vectoriel
    • Décompose la matrice de données en trois matrices
    • Produit des valeurs « singulières »
    • La variance des données ≈ SS des valeurs singulières
1 https://galaxydatatech.com/2018/07/15/singular-value-decomposition/
S’entraîner aux questions d’entretien en Machine Learning avec Python

Fonctions de réduction de dimension

Fonction/méthode renvoie
sklearn.decomposition.PCA analyse en composantes principales
sklearn.decomposition.TruncatedSVD décomposition en valeurs singulières
PCA/SVD.fit_transform(X) ajuste et transforme les données
PCA/SVD.explained_variance_ratio_ variance expliquée par les PC
S’entraîner aux questions d’entretien en Machine Learning avec Python

Passons à la pratique !

S’entraîner aux questions d’entretien en Machine Learning avec Python

Preparing Video For Download...