La intuición detrás de los métodos basados en árboles

Aprendizaje supervisado en R: Regresión

Nina Zumel and John Mount

Win-Vector, LLC

Ejemplo: predecir la inteligencia animal a partir de Gestation Time y Litter Size

Aprendizaje supervisado en R: Regresión

Árboles de decisión

Reglas del tipo:

  • si a AND b AND c ENTONCES y

Conceptos no lineales

  • intervalos
  • relaciones no monótonas

interacciones no aditivas

  • AND: similar a multiplicación
Aprendizaje supervisado en R: Regresión

Árboles de decisión

  • SI Litter < 1.15 AND Gestation $\ge$ 268 $\rightarrow$ intelligence = 0.315
  • SI Litter EN [1.15, 4.3) $\rightarrow$ intelligence = 0.131
Aprendizaje supervisado en R: Regresión

Árboles de decisión

Pro: los árboles tienen un espacio de conceptos expresivo

Model RMSE
linear 0.1200419
tree 0.1072732
Aprendizaje supervisado en R: Regresión

Árboles de decisión

Contra: predicciones a gran escala

Aprendizaje supervisado en R: Regresión

A los árboles les cuesta expresar relaciones lineales

Los árboles predicen regiones alineadas a ejes

Cada color es un valor predicho distinto

Aprendizaje supervisado en R: Regresión

A los árboles les cuesta expresar relaciones lineales

Es difícil expresar rectas con escalones

Aprendizaje supervisado en R: Regresión

Otros problemas de los árboles

  • Árbol con demasiadas particiones (árbol profundo):
    • Demasiado complejo: riesgo de sobreajuste
  • Árbol con pocas particiones (árbol poco profundo):
    • Predicciones demasiado gruesas
Aprendizaje supervisado en R: Regresión

Conjuntos de árboles

Los conjuntos dan predicciones más finas que los árboles individuales

Aprendizaje supervisado en R: Regresión

Conjuntos de árboles

El modelo en conjunto ajusta mejor los datos de inteligencia animal que un solo árbol

Model RMSE
linear 0.1200419
tree 0.1072732
random forest 0.0901681
Aprendizaje supervisado en R: Regresión

¡Vamos a practicar!

Aprendizaje supervisado en R: Regresión

Preparing Video For Download...