Inne rozkłady i wybór modelu

Analiza przeżycia w Pythonie

Shae Wang

Senior Data Scientist

Który model najlepiej pasuje do danych?

4 krzywe przeżycia dla tych samych danych przy użyciu różnych modeli

Wybór modeli parametrycznych

Modelowanie nieparametryczne (np. model Kaplana-Meiera)
- Dokładnie opisuje dane — nie zakłada rozkładu
- Nie jest gładkie/ciągłe/różniczkowalne
Modelowanie parametryczne (np. model Weibulla)
- Zazwyczaj dostarcza więcej informacji
- Błędnie dobrany model prowadzi do istotnie obciążonych wniosków

Popularne parametryczne modele przeżycia

Model Weibulla
```
from lifelines import WeibullFitter
```

Model wykładniczy

from lifelines import ExponentialFitter

Model log-normalny
```
from lifelines import LogNormalFitter
```

Model log-logistyczny

from lifelines import LogLogisticFitter

Model gamma

from lifelines import GeneralizedGammaFitter

Kryterium informacyjne Akaikego (AIC)

AIC: estymator błędu predykcji i względnej jakości modeli statystycznych dla danego zbioru danych.
Szacuje względną ilość informacji utraconej przez model i penalizuje dużą liczbę szacowanych parametrów.
- Im mniej informacji model traci, tym wyższa jego jakość.
- Im mniej parametrów (mniejsza złożoność), tym wyższa jakość modelu.
Spośród kandydujących modeli dla danych preferowany jest ten z minimalną wartością AIC.

Wybór modelu za pomocą AIC

Krok 1) Dopasowanie modeli parametrycznych w lifelines

Krok 2) Porównanie właściwości AIC_ każdego modelu

Krok 3) Preferowany jest model z najniższą wartością AIC

from lifelines import WeibullFitter, 
                      ExponentialFitter, 
                      LogNormalFitter

wb = WeibullFitter().fit(D, E)
exp = ExponentialFitter().fit(D, E)
log = LogNormalFitter().fit(D, E)

print(wb.AIC_, exp.AIC_, log.AIC_)

215.9091   216.1183   202.3498

find_best_parametric_model()

find_best_parametric_model(): wbudowana funkcja lifelines automatyzująca porównania AIC między modelami parametrycznymi.
Iteruje przez każdy model parametryczny dostępny w lifelines.

Sposób użycia:

T: czasy trwania, E: cenzurowanie

best_model, best_aic_ = find_best_parametric_model(event_times=T,
                                                   event_observed=E,
                                                   scoring_method="AIC")
print(best_model)

<lifelines.WeibullFitter:"Weibull_estimate", 
fitted with 686 total observations, 387 right-censored observations>

Wykres Q-Q

Wykres Q-Q: porównuje dwa rozkłady prawdopodobieństwa, odkładając ich kwantyle na osiach.
Jeśli porównywane rozkłady są podobne, punkty na wykresie Q-Q leżą w przybliżeniu na prostej y = x.

przykład wykresu Q-Q

Wybór modelu za pomocą wykresów Q-Q

Krok 1) Dopasowanie modeli parametrycznych w lifelines.

Krok 2) Narysowanie wykresu Q-Q dla każdego modelu.

Krok 3) Preferowany jest model, którego wykres Q-Q jest najbliższy y = x.

from lifelines.plotting import qq_plot

for model in [WeibullFitter(), 
              LogNormalFitter(),
              LogLogisticFitter(),
              ExponentialFitter()]:
  model.fit(T, E)
  qq_plot(model)

plt.show()

Wybór modelu za pomocą wykresów Q-Q

wykres Q-Q do porównania

Czas na ćwiczenia!

Analiza przeżycia w Pythonie