Seturi de antrenament și de test

Preprocesare pentru Machine Learning în Python

James Chapman

Curriculum Manager, DataCamp

De ce împărțim datele?

 

  1. Reduce supraadaptarea
  2. Evaluarea performanței pe un set de validare
Preprocesare pentru Machine Learning în Python

Împărțirea setului de date

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

   X_train y_train            
0      1.0       n
1      4.0       n
       ...
5      5.0       n
6      6.0       n

   X_test y_test
0     9.0      y
1     1.0      n
2     4.0      n
Preprocesare pentru Machine Learning în Python

Eșantionare stratificată

 

  • Set de date cu $100$ exemple: $80$ clasa 1 și $20$ clasa 2
  • Set de antrenament cu $75$ exemple: $60$ clasa 1 și $15$ clasa 2
  • Set de test cu $25$ exemple: $20$ clasa 1 și $5$ clasa 2
Preprocesare pentru Machine Learning în Python

Eșantionare stratificată

X_train,X_test,y_train,y_test = train_test_split(X, y, stratify=y, random_state=42)

y["labels"].value_counts()

class1    80
class2    20
Name: labels, dtype: int64
Preprocesare pentru Machine Learning în Python

Eșantionare stratificată

y_train["labels"].value_counts()

class1    60
class2    15
Name: labels, dtype: int64

y_test["labels"].value_counts()

class1    20
class2    5
Name: labels, dtype: int64
Preprocesare pentru Machine Learning în Python

Să exersăm!

Preprocesare pentru Machine Learning în Python

Preparing Video For Download...