Metrik kinerja untuk pohon regresi

Machine Learning dengan Model Berbasis Pohon di R

Sandro Raabe

Data Scientist

Bagaimana mengukur kinerja?

Masalah klasifikasi: akurasi (confusion matrix)
Masalah regresi: "benar" itu relatif, tidak ada kebenaran biner

$\Rightarrow$ Ukur seberapa jauh prediksi dari nilai sebenarnya

Metrik umum untuk regresi

Galat Absolut Rata-rata (MAE)
Akar Galat Kuadrat Rata-rata (RMSE)

Intuisi MAE:

plot selisih rata-rata

MAE = rata-rata panjang batang merah

Rumus dan intuisi

$$MAE = \frac{1}{n} \sum_{i=1}^n\left| actual_i - predicted_i \right|$$

"Jumlah deviasi absolut dibagi jumlah prediksi"

$$\quad MSE = \quad \frac{1}{n} \sum_{i=1}^n\left( actual_i - predicted_i \right)^2$$

"Galat kuadrat rata-rata"

Rumus dan intuisi

$$MAE = \frac{1}{n} \sum_{i=1}^n\left| actual_i - predicted_i \right|$$

"Jumlah deviasi absolut dibagi jumlah prediksi"

$$RMSE = \sqrt{\frac{1}{n} \sum_{i=1}^n\left( actual - predicted \right)^2}$$

"Akar dari galat kuadrat rata-rata"
Galat besar berbobot lebih tinggi

Ngoding: prediksi

# parsnip dan yardstick termasuk dalam tidymodels
library(tidymodels)

# Buat prediksi dan tambahkan ke data uji
predictions <- predict(model, new_data = chocolate_test) %>%

  bind_cols(chocolate_test)

# A tibble: 358 x 7
   .pred final_grade review_date cocoa_percent company_location
   <dbl>       <dbl>       <int>         <dbl> <fct>           
 1  2.5         2.75        2013          0.7  France          
 2  3.64        3.25        2014          0.8  France          
 3  3.3         3.5         2012          0.7  France          
 4  3.25        3.5         2011          0.72 Fiji            
# ... dengan 354 baris lagi, dan 2 variabel lagi: bean_type <fct>, broad_bean_origin <fct>

Ngoding: mae() dan rmse()

# Evaluasi dengan mae()
mae(predictions,

    estimate = .pred,

    truth = final_grade)

# A tibble: 1 x 2
  .metric   .estimate
  <chr>         <dbl>
1 mae           0.363

# Evaluasi dengan rmse()
rmse(predictions,
     estimate = .pred,
     truth = final_grade)

# A tibble: 1 x 2
  .metric   .estimate
  <chr>         <dbl>
1 rmse          0.457

Mari kita evaluasi!

Machine Learning dengan Model Berbasis Pohon di R