नए डेटा को स्केल और ट्रांसफॉर्म करना

Python में मशीन लर्निंग के लिए फीचर इंजीनियरिंग

Robet O'Callaghan

Director of Data Science, Ordergroove

ट्रेनिंग स्केलर को दोबारा उपयोग करें

scaler = StandardScaler()

scaler.fit(train[['col']])

train['scaled_col'] = scaler.transform(train[['col']])

# FIT SOME MODEL
# ....

test = pd.read_csv('test_csv')

test['scaled_col'] = scaler.transform(test[['col']])

रीयूज़ के लिए ट्रेनिंग ट्रांसफॉर्मेशन

train_mean = train[['col']].mean()
train_std = train[['col']].std()

cut_off = train_std * 3
train_lower = train_mean - cut_off
train_upper = train_mean + cut_off

# Subset train data

test = pd.read_csv('test_csv')

# Subset test data
test = test[(test[['col']] < train_upper) & 
              (test[['col']] > train_lower)]

सिर्फ ट्रेनिंग डेटा ही क्यों?

Data leakage: ऐसे डेटा का उपयोग करना जिसे आप अपने मॉडल का प्रदर्शन आँकते समय उपलब्ध नहीं होगा

डेटा लीकेज से बचें!

Python में मशीन लर्निंग के लिए फीचर इंजीनियरिंग