A intuição por trás dos métodos baseados em árvores

Aprendizado Supervisionado em R: Regressão

Nina Zumel and John Mount

Win-Vector, LLC

Exemplo: prever inteligência animal por Gestation Time e Litter Size

Aprendizado Supervisionado em R: Regressão

Árvores de decisão

Regras do tipo:

  • if a AND b AND c THEN y

Conceitos não lineares

  • intervalos
  • relações não monotônicas

interações não aditivas

  • AND: similar a multiplicação
Aprendizado Supervisionado em R: Regressão

Árvores de decisão

  • IF Litter < 1.15 AND Gestation $\ge$ 268 $\rightarrow$ intelligence = 0.315
  • IF Litter IN [1.15, 4.3) $\rightarrow$ intelligence = 0.131
Aprendizado Supervisionado em R: Regressão

Árvores de decisão

Pró: árvores têm um espaço de conceitos expressivo

Model RMSE
linear 0.1200419
tree 0.1072732
Aprendizado Supervisionado em R: Regressão

Árvores de decisão

Contra: Previsões de granulação grossa

Aprendizado Supervisionado em R: Regressão

É difícil para árvores expressarem relações lineares

Árvores predizem regiões alinhadas aos eixos

Cada cor é um valor previsto diferente

Aprendizado Supervisionado em R: Regressão

É difícil para árvores expressarem relações lineares

Linhas com degraus são difíceis de expressar

Aprendizado Supervisionado em R: Regressão

Outros problemas com árvores

  • Árvore com muitas divisões (profunda):
    • Complexidade alta — risco de overfit
  • Árvore com poucas divisões (rasa):
    • Previsões muito grosseiras
Aprendizado Supervisionado em R: Regressão

Conjuntos de árvores

Conjuntos geram previsões mais granulares que árvores isoladas

Aprendizado Supervisionado em R: Regressão

Conjuntos de árvores

Modelo em conjunto ajusta melhor os dados de inteligência animal que uma árvore única

Model RMSE
linear 0.1200419
tree 0.1072732
random forest 0.0901681
Aprendizado Supervisionado em R: Regressão

Vamos praticar!

Aprendizado Supervisionado em R: Regressão

Preparing Video For Download...