Bias-Variance ट्रेड-ऑफ

Python में Model Validation

Kasey Jones

Data Scientist

Variance

Variance: ट्रेनिंग डेटा के बहुत करीब फिट होना
- टेस्ट डेटा पर जनरलाइज़ नहीं करता
- ट्रेनिंग एरर कम, टेस्टिंग एरर अधिक
- मॉडल ओवरफिट और बहुत कॉम्प्लेक्स होने पर होता है

ओवरफिट मॉडल (उच्च variance)

ओवरफिटिंग तब होती है जब हमारी भविष्यवाणियाँ ट्रेनिंग डेटा का बहुत नज़दीकी पीछा करती हैं। अगर हम स्कैटर प्लॉट बनाएँ और सारी भविष्यवाणियाँ वास्तविक मानों की लाइन पर ही हों, तो संभवतः हम ओवरफिट हैं.

Bias

Bias: डेटा और रिस्पॉन्स के बीच संबंध न पकड़ पाना
- ट्रेनिंग/टेस्टिंग एरर उच्च
- मॉडल अंडरफिट होने पर होता है

अंडरफिट मॉडल (उच्च bias)

अंडरफिटिंग तब होती है जब जिस वैरिएबल की हम भविष्यवाणी कर रहे हैं और मॉडल के प्रेडिक्टिव वैरिएबल्स में संबंध मौजूद हो, पर हम उसे खोज न पाएँ.

सर्वोत्तम परफॉर्मेंस

अच्छी तरह फिट मॉडल प्रेडिक्टिव वैरिएबल्स और रिस्पॉन्स के बीच संबंध ढूँढ़ते हैं और नए डेटा पर भी अच्छी तरह जनरलाइज़ करते हैं.

Bias-Variance Tradeoff

ओवर/अंडरफिटिंग को प्रभावित करने वाले पैरामीटर

rfc = RandomForestClassifier(n_estimators=100, max_depth=4)
rfc.fit(X_train, y_train)


print("Training: {0:.2f}".format(accuracy_score(y_train, train_predictions)))

Training: .84

print("Testing: {0:.2f}".format(accuracy_score(y_test, test_predictions)))

Testing: .77

rfc = RandomForestClassifier(n_estimators=100, max_depth=14)
rfc.fit(X_train, y_train)


print("Training: {0:.2f}".format(accuracy_score(y_train, train_predictions)))

Training: 1.0

print("Testing: {0:.2f}".format(accuracy_score(y_test, test_predictions)))

Testing: .83

rfc = RandomForestClassifier(n_estimators=100, max_depth=10)
rfc.fit(X_train, y_train)


print("Training: {0:.2f}".format(accuracy_score(y_train, train_predictions)))

Training: .89

print("Testing: {0:.2f}".format(accuracy_score(y_test, test_predictions)))

Testing: .86

याद रखें, ओवरफिटिंग रोकना आपके ही हाथ में है!

Python में Model Validation