Зменшення розмірності: видобування ознак

Практика співбесід з Machine Learning у Python

Lisa Stuart

Data Scientist

Методи навчання без вчителя

  • Аналіз головних компонент (PCA) --> Урок 3.1
  • Розклад за сингулярними значеннями (SVD) --> Урок 3.1
  • Кластеризація/групування --> Урок 3.3
  • Розвідувальний аналіз даних
Практика співбесід з Machine Learning у Python

Зменшення розмірності ≠ відбір ознак

Графік PCA

Відбір ознак

1 https://slideplayer.com/slide/9699240/ 2 https://www.analyticsvidhya.com/blog/2016/03/practical-guide-principal-component-analysis-python/
Практика співбесід з Machine Learning у Python

Прокляття розмірності

Зв'язок розмірності та якості

1 https://www.visiondummy.com/2014/04/curse-dimensionality-affect-classification/
Практика співбесід з Machine Learning у Python

Пошук у 1D

1-вимірний простір пошуку

Практика співбесід з Machine Learning у Python

Пошук у 2D

2-вимірний простір пошуку

Практика співбесід з Machine Learning у Python

Пошук у 3D

3-вимірний простір пошуку

Практика співбесід з Machine Learning у Python

Методи зменшення розмірності

  • PCA
  • SVD
Практика співбесід з Machine Learning у Python

PCA

Iris: графік PCA

  • PCA
    • Зв'язок між X та y
    • Обчислює головні осі
    • Зсуває, обертає й масштабує
    • Проєкція даних у нижчу розмірність
1 https://scikit-learn.org/stable/modules/decomposition.html
Практика співбесід з Machine Learning у Python

SVD

Iris: графік SVD

  • SVD
    • Лінійна алгебра та векторне числення
    • Розкладає матрицю даних на три матриці
    • Дає «сингулярні» значення
    • Дисперсія даних ≈ сума квадратів сингулярних значень
1 https://galaxydatatech.com/2018/07/15/singular-value-decomposition/
Практика співбесід з Machine Learning у Python

Функції для зменшення розмірності

Функція/метод повертає
sklearn.decomposition.PCA аналіз головних компонент
sklearn.decomposition.TruncatedSVD розклад за сингулярними значеннями
PCA/SVD.fit_transform(X) навчає та перетворює дані
PCA/SVD.explained_variance_ratio_ частка дисперсії, пояснена ГК
Практика співбесід з Machine Learning у Python

Давайте потренуємось!

Практика співбесід з Machine Learning у Python

Preparing Video For Download...