Regularizare și baze de învățare în XGBoost

Gradient Boosting Extrem cu XGBoost

Sergey Fogelson

Head of Data Science, TelevisaUnivision

Regularizare în XGBoost

Regularizarea controlează complexitatea modelului
Modelele trebuie să fie atât precise, cât și cât mai simple
Parametri de regularizare în XGBoost:
- gamma - reducerea minimă a pierderii permisă pentru o împărțire
- alpha - regularizare l1 pe ponderi frunze, valori mai mari înseamnă mai multă regularizare
- lambda - regularizare l2 pe ponderi frunze

Exemplu de regularizare L1 în XGBoost

import xgboost as xgb
import pandas as pd
boston_data = pd.read_csv("boston_data.csv")
X,y = boston_data.iloc[:,:-1],boston_data.iloc[:,-1]

boston_dmatrix = xgb.DMatrix(data=X,label=y)
params={"objective":"reg:squarederror","max_depth":4}

l1_params = [1,10,100]
rmses_l1=[]

for reg in l1_params:
    params["alpha"] = reg
    cv_results = xgb.cv(dtrain=boston_dmatrix, params=params,nfold=4, 
                        num_boost_round=10,metrics="rmse",as_pandas=True,seed=123)
    rmses_l1.append(cv_results["test-rmse-mean"].tail(1).values[0])

print("Best rmse as a function of l1:")
print(pd.DataFrame(list(zip(l1_params,rmses_l1)), columns=["l1","rmse"]))

Best rmse as a function of l1:
        l1          rmse
    0    1  69572.517742
    1   10  73721.967141
    2  100  82312.312413

Baze de învățare în XGBoost

Bază de învățare liniară:
- Sumă de termeni liniari
- Modelul boostat este o sumă ponderată de modele liniare (deci este el însuși liniar)
- Rar utilizat
Bază de învățare arbore:
- Arbore de decizie
- Modelul boostat este o sumă ponderată de arbori de decizie (neliniar)
- Folosit aproape exclusiv în XGBoost

Crearea DataFrame-urilor din liste egale ca lungime

pd.DataFrame(list(zip(list1,list2)),columns=["list1","list2"]))
zip creează un generator de valori paralele:
- zip([1,2,3],["a","b""c"]) = [1,"a"],[2,"b"],[3,"c"]
- generators trebuie instanțiate complet înainte de a fi utilizate în obiecte DataFrame
list() instanțiază generatorul complet, iar transmiterea acestuia în DataFrame convertește întreaga expresie

Să exersăm!

Gradient Boosting Extrem cu XGBoost