फॉरवर्ड स्टेपवाइज़ वैरिएबल चयन

Python में प्रिडिक्टिव एनालिटिक्स परिचय

Nele Verbiest, Ph.D

Data Scientist @PythonPredictions

फॉरवर्ड स्टेपवाइज़ वैरिएबल चयन प्रक्रिया

खाली सेट
सर्वश्रेष्ठ वैरिएबल $v_1$ ढूँढ़ें
$v_1$ के साथ संयोजन में सर्वश्रेष्ठ वैरिएबल $v_2$ ढूँढ़ें
$v_1, v_2$ के साथ संयोजन में सर्वश्रेष्ठ वैरिएबल $v_3$ ढूँढ़ें
...

(जब तक सभी वैरिएबल जोड़ न दिए जाएँ या पूर्वनिर्धारित संख्या पूरी न हो जाए)

Python में फंक्शन

def function_sum(a,b):

    s = a + b
    return(s)

print(function_sum(1,2))

फॉरवर्ड स्टेपवाइज़ प्रक्रिया का इम्प्लीमेंटेशन

auc फंक्शन, जो दिए गए वैरिएबल सेट के लिए AUC निकालता है
best_next फंक्शन, जो वर्तमान वैरिएबल्स के साथ अगला सबसे अच्छा वैरिएबल देता है
इच्छित संख्या तक लूप चलाएँ

AUC फंक्शन का इम्प्लीमेंटेशन

from sklearn import linear_model
from sklearn.metrics import roc_auc_score

def auc(variables, target, basetable):

    X = basetable[variables]
    y = basetable[target]

    logreg = linear_model.LogisticRegression()
    logreg.fit(X, y)

    predictions = logreg.predict_proba(X)[:,1]
    auc = roc_auc_score(y, predictions)
    return(auc)

auc = auc(["age","gender_F"],["target"],basetable)
print(round(auc,2))

0.54

अगला सर्वश्रेष्ठ वैरिएबल निकालना

def next_best(current_variables,candidate_variables, target, basetable):

    best_auc = -1
    best_variable = None

    for v in candidate_variables:
        auc_v = auc(current_variables + [v], target, basetable)

        if auc_v >= best_auc:
            best_auc = auc_v
            best_variable = v

    return best_variable

current_variables = ["age","gender_F"]
candidate_variables = ["min_gift","max_gift","mean_gift"]
next_variable = next_best(current_variables, candidate_variables, basetable)
print(next_variable)

min_gift

फॉरवर्ड स्टेपवाइज़ वैरिएबल चयन प्रक्रिया

candidate_variables = ["mean_gift","min_gift","max_gift",
"age","gender_F","country_USA","income_low"]
current_variables = []
target = ["target"]

max_number_variables = 5
number_iterations = min(max_number_variables, len(candidate_variables))
for i in range(0,number_iterations):

    next_var = next_best(current_variables,candidate_variables,target,basetable)

    current_variables = current_variables + [next_variable]
    candidate_variables.remove(next_variable)

print(current_variables)

['max_gift', 'mean_gift', 'min_gift', 'age', 'gender_F']

अभ्यास करते हैं!

Python में प्रिडिक्टिव एनालिटिक्स परिचय