Transformera responsvariabeln före modellering

Övervakad inlärning i R: Regression

Nina Zumel and John Mount

Win-Vector, LLC

Logaritmtransformationen för monetära data

Monetära värden: lognormalfördelade
Lång svans, brett dynamikområde (60–700K)

Lognormalfördelningar

medelvärde > median (~ 50K mot 39K)
Att prediktera medelvärdet överpredikterar typiska värden

Tillbaka till normalfördelningen

För en normalfördelning:

medelvärde = median (här: 4,53 mot 4,59)
rimligare dynamikområde (1,8 – 5,8)

Tillvägagångssättet

Logaritmera utfallet och anpassa en modell
```
 model <- lm(log(y) ~ x, data = train)
```

Tillvägagångssättet

Logaritmera utfallet och anpassa en modell
```
 model <- lm(log(y) ~ x, data = train)
```

Gör prediktionerna i logaritmskalan

 logpred <- predict(model, data = test)

Tillvägagångssättet

Logaritmera utfallet och anpassa en modell
```
 model <- lm(log(y) ~ x, data = train)
```

Gör prediktionerna i logaritmskalan

 logpred <- predict(model, data = test)

Transformera prediktionerna tillbaka till utfallsskalan
```
 pred <- exp(logpred)
```

Prediktion av logaritmtransformerade utfall: multiplikativt fel

$log(a) + log(b) = log(ab)$

$log(a) - log(b) = log(a/b)$

Multiplikativt fel: $pred/y$
Relativt fel: $(pred - y)/y = \frac{pred}{y} - 1$

Att minska det multiplikativa felet minskar även det relativa felet.

Rotmedelkvadrat för relativt fel

RMS-relativt fel = $\sqrt{ \overline{ (\frac{pred-y}{y})^2 }}$

Prediktion av logaritmerat utfall minskar RMS-relativt fel
Men modellen får ofta ett större RMSE

Exempel: modellera inkomst direkt

modIncome <- lm(Income ~ AFQT + Educ, data = train)

AFQT: Resultat på kompetenstest 25 år före undersökningen
Educ: Antal utbildningsår fram till undersökningstillfället
Income: Inkomst vid undersökningstillfället

Modellens prestanda

test %>% 
+     mutate(pred = predict(modIncome, newdata = test),
+            err = pred - Income) %>%
+     summarize(rmse = sqrt(mean(err^2)),
+               rms.relerr = sqrt(mean((err/Income)^2)))

RMSE	RMS-relativt fel
36 819,39	3,295189

Modellera log(Income)

modLogIncome <- lm(log(Income) ~ AFQT + Educ, data = train)

Modellens prestanda

test %>% 
+     mutate(predlog = predict(modLogIncome, newdata = test), 
+            pred = exp(predlog), 
+            err = pred - Income) %>%
+     summarize(rmse = sqrt(mean(err^2)),
+               rms.relerr = sqrt(mean((err/Income)^2)))

RMSE	RMS-relativt fel
38 906,61	2,276865

Jämför felen

log(Income)-modellen: mindre RMS-relativt fel, större RMSE

Modell	RMSE	RMS-relativt fel
På `Income`	36 819,39	3,295189
På `log(Income)`	38 906,61	2,276865

Nu kör vi en övning!

Övervakad inlärning i R: Regression