Выбор количества переменных

Введение в предиктивную аналитику на Python

Nele Verbiest, Ph.D

Data Scientist @PythonPredictions

Оценка AUC

auc_values = []
variables_evaluate = []

for v in variables_forward:
    variables_evaluate.append(v)
    auc_value = auc(variables_evaluate, ["target"], basetable)
    auc_values.append(auc_value)
Введение в предиктивную аналитику на Python

Оценка AUC

Введение в предиктивную аналитику на Python

Переобучение

Введение в предиктивную аналитику на Python

Обнаружение переобучения

Введение в предиктивную аналитику на Python

Разбиение на выборки

from sklearn.model_selection import train_test_split

X = basetable.drop("target", 1)
y = basetable["target"]

X_train, X_test, y_train, y_test = 
    train_test_split(X, y, test_size=0.4, stratify = Y)

train = pd.concat([X_train, y_train], axis=1)
test = pd.concat([X_test, y_test], axis=1)
Введение в предиктивную аналитику на Python

Выбор порогового значения

  • Высокий AUC на тестовой выборке
  • Малое количество переменных
Введение в предиктивную аналитику на Python

Выбор порогового значения

Введение в предиктивную аналитику на Python

Давайте потренируемся!

Введение в предиктивную аналитику на Python

Preparing Video For Download...