Xác thực chéo

Machine Learning với Mô hình Dựa trên Cây trong R

Sandro Raabe

Data Scientist

Xác thực chéo k-fold

dữ liệu chia thành k fold

Machine Learning với Mô hình Dựa trên Cây trong R

Xác thực chéo k-fold

fold 1 làm tập kiểm tra

Machine Learning với Mô hình Dựa trên Cây trong R

Xác thực chéo k-fold

fold 2 làm tập kiểm tra

Machine Learning với Mô hình Dựa trên Cây trong R

Xác thực chéo k-fold

fold 3 làm tập kiểm tra

Machine Learning với Mô hình Dựa trên Cây trong R

Xác thực chéo k-fold

fold 4 làm tập kiểm tra

Machine Learning với Mô hình Dựa trên Cây trong R

Xác thực chéo k-fold

fold 5 làm tập kiểm tra

Machine Learning với Mô hình Dựa trên Cây trong R

Xác thực chéo k-fold

MAE đã xác thực chéo tổng

Machine Learning với Mô hình Dựa trên Cây trong R

Huấn luyện mô hình cuối trên toàn bộ dữ liệu

fit mô hình cuối cùng trên toàn bộ dữ liệu

Machine Learning với Mô hình Dựa trên Cây trong R

Mã - Chia dữ liệu 10 lần

# Random seed for reproducibility
set.seed(100)

# Create 10 folds of the dataset
chocolate_folds <- vfold_cv(chocolate_train, v = 10)

#  10-fold cross-validation
# A tibble: 10 x 2
  splits             id
1 <split [1293/144]> Fold1
2 <split [1293/144]> Fold2
3 <split [1293/144]> Fold3
4 ...
Machine Learning với Mô hình Dựa trên Cây trong R

Mã - Huấn luyện theo fold

# Fit a model for every fold and calculate MAE and RMSE
fits_cv <- fit_resamples(tree_spec,

                         final_grade ~ .,

                         resamples = chocolate_folds,

                         metrics = metric_set(mae, rmse))

# Resampling results
# 10-fold cross-validation
# A tibble: 10 x 4
  splits             id    .metrics
  <list>             <chr> <list>
1 <split [1293/144]> Fold1 <tibble [2 x 4]>
2 <split [1293/144]> Fold2 <tibble [2 x 4]>
3 <split [1293/144]> Fold3 <tibble [2 x 4]>
4 ...
Machine Learning với Mô hình Dựa trên Cây trong R

Mã - Thu thập mọi lỗi

# Collect raw errors of all model runs
all_errors <- collect_metrics(fits_cv, 
                              summarize = FALSE)

print(all_errors)

# A tibble: 20 x 3
   id      .metric  .estimate
   <chr>     <chr>      <dbl>
 1 Fold01      mae      0.362
 2 Fold01     rmse      0.442
 3 Fold02      mae      0.385
 4 Fold02     rmse      0.504
 5 ...

library(ggplot2)
ggplot(all_errors, aes(x = .estimate, 
                       fill = .metric)) +
   geom_histogram()

biểu đồ tần suất lỗi

Machine Learning với Mô hình Dựa trên Cây trong R

Mã - Tóm tắt phiên huấn luyện

# Collect and summarize errors of all model runs
collect_metrics(fits_cv)

# A tibble: 2 x 3
  .metric   mean      n
  <chr>    <dbl>  <int>
1 mae      0.383     10
2 rmse     0.477     10
Machine Learning với Mô hình Dựa trên Cây trong R

Hãy xác thực chéo!

Machine Learning với Mô hình Dựa trên Cây trong R

Preparing Video For Download...