Lời nguyền chiều dữ liệu

Giảm Chiều Dữ Liệu với Python

Jeroen Boeye

Head of Machine Learning, Faktion

Từ quan sát đến quy luật

Thành phố Giá
Berlin 2
Paris 3
Giảm Chiều Dữ Liệu với Python

Từ quan sát đến quy luật

Thành phố Giá
Berlin 2
Paris 3

biểu đồ phân phối đơn giản

Giảm Chiều Dữ Liệu với Python

Từ quan sát đến quy luật

Thành phố Giá
Berlin 2.0
Berlin 3.1
Berlin 4.3
Paris 3.0
Paris 5.2
... ...

Phân phối Berlin vs. Paris

Giảm Chiều Dữ Liệu với Python

Xây dựng bộ phân loại thành phố - tách dữ liệu

Tách đặc trưng cần dự đoán khỏi các đặc trưng dùng để huấn luyện mô hình.

y = house_df['City']

X = house_df.drop('City', axis=1)

Tách dữ liệu: 70% train, 30% test

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)
Giảm Chiều Dữ Liệu với Python

Xây dựng bộ phân loại thành phố - fit mô hình

Tạo Bộ phân loại SVM và fit vào dữ liệu huấn luyện

from sklearn.svm import SVC

svc = SVC()

svc.fit(X_train, y_train)
Giảm Chiều Dữ Liệu với Python

Xây dựng bộ phân loại thành phố - dự đoán

from sklearn.metrics import accuracy_score

print(accuracy_score(y_test, svc.predict(X_test)))

0.826

print(accuracy_score(y_train, svc.predict(X_train)))

0.832
Giảm Chiều Dữ Liệu với Python

Bổ sung đặc trưng

Thành phố Giá
Berlin 2.0
Berlin 3.1
Berlin 4.3
Paris 3.0
Paris 5.2
... ...

Phân phối Berlin vs. Paris

Giảm Chiều Dữ Liệu với Python

Bổ sung đặc trưng

Thành phố Giá n_floors n_bathroom surface_m2
Berlin 2.0 1 1 190
Berlin 3.1 2 1 187
Berlin 4.3 2 2 240
Paris 3.0 2 1 170
Paris 5.2 2 2 290
... ... ... ... ...
Giảm Chiều Dữ Liệu với Python

Ayo berlatih!

Giảm Chiều Dữ Liệu với Python

Preparing Video For Download...