Intrinsische Dimension

Unsupervised Learning in Python

Benjamin Wilson

Director of Research at lateral.io

Die eigentliche Dimension einer Flugroute

Zwei Merkmale: Längen- und Breitengrad an Punkten entlang einer Flugroute
Der Datensatz scheint zweidimensional zu sein.
Aber man kann diesen mit einem Merkmal ungefähr annähern: die Verschiebung entlang der Flugroute.
Hat eine intrinsische Dimension von Eins.

latitude  longitude
  50.529     41.513
  50.360     41.672
  50.196     41.835
...

Streudiagramm von Längengrad gegen Breitengrad

Intrinsische Dimension = Anzahl der Merkmale, die man braucht, um den Datensatz zu approximieren
Die Hauptidee hinter der Dimensionsreduktion
Was ist die kompakteste Darstellung der Proben?
Kann mit PCA ermittelt werden

Versicolor-Punkte im 3D-Raum: Kelchblattlänge vs. Kelchblattbreite vs. Blütenblattbreite

Streudiagramme funktionieren nur, wenn die Stichproben zwei oder drei Merkmale aufweisen.
PCA ermittelt die intrinsische Dimension, wenn die Proben beliebig viele Merkmale haben.
Intrinsische Dimension = Anzahl der PCA-Merkmale mit signifikanter Varianz

Gedrehte versicolor-Punkte im 3D-Raum dargestellt: PC1 vs PC2 vs PC3

Balkendiagramm, das die Anzahl der PCA-Merkmale im Vergleich zur Varianz zeigt

Die intrinsische Dimension ist die Anzahl der PCA-Merkmale mit signifikanter Varianz.
In unserem Beispiel: die ersten beiden PCA-Merkmale
Die intrinsische Dimension ist also Zwei.

Balkendiagramm, das die Anzahl der PCA-Merkmale im Vergleich zur Varianz zeigt, mit einer roten vertikalen Linie zwischen 1 und 2

import matplotlib.pyplot as plt
from sklearn.decomposition import PCA

pca = PCA()

pca.fit(samples)

PCA()

features = range(pca.n_components_)

plt.bar(features, pca.explained_variance_)
plt.xticks(features)
plt.ylabel('variance')
plt.xlabel('PCA feature')
plt.show()

Balkendiagramm, das die Anzahl der PCA-Merkmale im Vergleich zur Varianz zeigt

Balkendiagramm, das die Anzahl der PCA-Merkmale im Vergleich zur Varianz des Weindatensatzes zeigt

Unsupervised Learning in Python