Klątwa wymiarowości

Redukcja wymiarowości w Pythonie

Jeroen Boeye

Head of Machine Learning, Faktion

Od obserwacji do wzorca

City Price
Berlin 2
Paris 3
Redukcja wymiarowości w Pythonie

Od obserwacji do wzorca

City Price
Berlin 2
Paris 3

Prosty wykres rozkładu

Redukcja wymiarowości w Pythonie

Od obserwacji do wzorca

City Price
Berlin 2.0
Berlin 3.1
Berlin 4.3
Paris 3.0
Paris 5.2
... ...

Rozkład Berlin vs. Paryż

Redukcja wymiarowości w Pythonie

Klasyfikator miast – podział danych

Oddziel cechę do predykcji od cech treningowych.

y = house_df['City']

X = house_df.drop('City', axis=1)

Podziel dane na 70% treningowych i 30% testowych

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)
Redukcja wymiarowości w Pythonie

Klasyfikator miast – dopasowanie modelu

Utwórz klasyfikator SVM i dopasuj go do danych treningowych

from sklearn.svm import SVC

svc = SVC()

svc.fit(X_train, y_train)
Redukcja wymiarowości w Pythonie

Klasyfikator miast – predykcja

from sklearn.metrics import accuracy_score

print(accuracy_score(y_test, svc.predict(X_test)))
0.826
print(accuracy_score(y_train, svc.predict(X_train)))
0.832
Redukcja wymiarowości w Pythonie

Dodawanie cech

City Price
Berlin 2.0
Berlin 3.1
Berlin 4.3
Paris 3.0
Paris 5.2
... ...

Rozkład Berlin vs. Paryż

Redukcja wymiarowości w Pythonie

Dodawanie cech

City Price n_floors n_bathroom surface_m2
Berlin 2.0 1 1 190
Berlin 3.1 2 1 187
Berlin 4.3 2 2 240
Paris 3.0 2 1 170
Paris 5.2 2 2 290
... ... ... ... ...
Redukcja wymiarowości w Pythonie

Czas na ćwiczenia!

Redukcja wymiarowości w Pythonie

Preparing Video For Download...