Parameters बनाम hyperparameters

R में Hyperparameter Tuning

Dr. Shirin Elsinghorst

Senior Data Scientist

मेरे बारे में

www.shirin-glander.de

मेरे बारे में

"Hyper"parameters बनाम model parameters

एक उदाहरण डेटासेट देखें:

head(breast_cancer_data)

# A tibble: 6 x 11
  diagnosis concavity_mean symmetry_mean fractal_dimension perimeter_se smoothness_se
  <chr>              <dbl>         <dbl>             <dbl>        <dbl>         <dbl>
1 M                 0.300          0.242            0.0787         8.59       0.00640
2 M                 0.0869         0.181            0.0567         3.40       0.00522
3 M                 0.197          0.207            0.0600         4.58       0.00615
4 M                 0.241          0.260            0.0974         3.44       0.00911

और एक सरल linear model बनाते हैं.

शुरुआत सरल से: Linear model में model parameters

# Create linear model
linear_model <- lm(perimeter_worst ~ fractal_dimension_mean, data = breast_cancer_data)

# Get coefficients
summary(linear_model)$coefficients

                       Estimate Std. Error t value Pr(>|t|)    
(Intercept)              167.60      25.91   6.469  3.9e-09 ***
fractal_dimension_mean  -926.39     392.86  -2.358   0.0204 *

शुरुआत सरल से: Linear model में model parameters

मॉडल के parameters ट्रेनिंग के दौरान फिट (यानी पाए) किए जाते हैं.
ये मॉडल फिटिंग या ट्रेनिंग का परिणाम होते हैं।
एक linear model में, हम coefficients ढूँढते हैं।

linear_model$coefficients

(Intercept) fractal_dimension_mean 
   167.5972              -926.3866

इन्हें मॉडल की slope और y-intercept की तरह समझें।

Linear model में coefficients

ggp <- ggplot(data = breast_cancer_data, 
              aes(x = fractal_dimension_mean, y = perimeter_worst)) +
        geom_point(color = "grey")

ggp + geom_abline(slope = linear_model$coefficients[2], 
                  intercept = linear_model$coefficients[1])

Linear model में model parameters बनाम hyperparameters

याद रखें: मॉडल parameters ट्रेनिंग के दौरान फिट (यानी पाए) जाते हैं; ये मॉडल फिटिंग/ट्रेनिंग का परिणाम होते हैं।
Hyperparameters ट्रेनिंग से पहले सेट किए जाते हैं।
ये बताते हैं कि ट्रेनिंग कैसे होनी है।

args(lm)
help(lm)
?lm

linear_model <- lm(perimeter_worst ~ fractal_dimension_mean,
                   data = breast_cancer_data,
                   method = "qr")

Machine learning में parameters बनाम hyperparameters

हमारे linear model में:

Coefficients फिटिंग के दौरान पाए गए।

method एक विकल्प था जो फिटिंग से पहले सेट हुआ।

machine learning में हम देख सकते हैं:

Neural nets के weights और biases जो ट्रेनिंग में optimize होते हैं => मॉडल parameters।
Learning rate, weight decay और Random Forest में number of trees जैसे विकल्प जिन्हें बदला जा सकता है => hyperparameters।

Hyperparameters क्यों tune करें?

Fantasy football के खिलाड़ी ~ Hyperparameters
खिलाड़ियों की positions ~ Hyperparameter के values
खिलाड़ियों व positions का सबसे अच्छा मेल खोजना ~ Hyperparameters के सबसे अच्छी combination खोजना

अभ्यास करते हैं!

R में Hyperparameter Tuning