Resampling jako speciální typ simulace Monte Carlo

Monte Carlo simulace v Pythonu

Izzy Weber

Curriculum Manager, DataCamp

Resampling jako speciální typ simulace Monte Carlo

Simulace Monte Carlo

Vzorkování z pravděpodobnostních rozdělení
Rozdělení jsou buď známá, nebo předpokládaná
Pro výběr vhodných rozdělení se využívají historická data nebo odborné znalosti

Resampling

Náhodné vzorkování z existujících dat
Existující data tvoří implicitní pravděpodobnostní rozdělení
Předpoklad, že data jsou reprezentativní

Metody resamplingů

Vzorkování bez opakování
- Slouží k výběru náhodného vzorku
Vzorkování s opakováním (bootstrapping)
- Slouží k odhadování výběrového rozdělení téměř libovolné statistiky
Permutace
- Často se používá k porovnání dvou skupin

Vzorkování bez opakování

Náhodně vyberte dva různé státy ze šesti států Nové Anglie

import random
def two_random_ne_states():

    ne_states=["Maine",
               "Vermont",
               "New Hampshire",
               "Massachusetts",
               "Connecticut",
               "Rhode Island"]

    return(random.sample(ne_states, 2))

two_random_ne_states()
two_random_ne_states()

['Massachusetts', 'Connecticut']
['New Hampshire', 'Maine']

Bootstrapping

Odhadněte 95% interval spolehlivosti pro střední výšku hráčů NBA

import random
import numpy as np

nba_heights = [196, 191, 198, 216, 188, 185, 211, 201,
               188, 191, 201, 208, 191, 183, 196]
simu_heights = []

for i in range(1000):
    bootstrap_sample = random.choices(nba_heights, k=15)
    simu_heights.append(np.mean(bootstrap_sample))

upper = np.quantile(simu_heights, 0.975)
lower = np.quantile(simu_heights, 0.025)
print([np.mean(simu_heights), lower, upper])

[196.26666666666668, 191.8, 201.2]

Vizualizace výsledků bootstrappingu

Knihovny pro vizualizaci:

seaborn
matplotlib

import seaborn as sns
import matplotlib.pyplot as plt

sns.displot(simu_heights)
plt.axvline(191.8, color="red")
plt.axvline(201.2, color="red")
plt.axvline(196.3, color="green")

Graf rozdělení simulovaných výšek

Permutace

Odhadněte 95% interval spolehlivosti pro střední rozdíl výšek hráčů NBA a dospělých mužů v USA

us_heights = [165, 185, 179, 187, 193, 180, 178, 179, 171, 176, 
              169, 160, 140, 199, 176, 185, 175, 196, 190, 176]
nba_heights = [196, 191, 198, 216, 188, 185, 211, 201, 188, 191, 201, 208, 191, 183, 196]

all_heights = us_heights + nba_heights


simu_diff = []
for i in range(1000):
    perm_sample = np.random.permutation(all_heights)
    perm_nba, perm_adult = perm_sample[0:15], perm_sample[15:35]

    perm_diff = np.mean(perm_nba) - np.mean(perm_adult)
    simu_diff.append(perm_diff)

Výsledky permutace

Rozdíl středních výšek hráčů NBA a dospělých Američanů:

np.mean(nba_heights) - np.mean(us_adult_height)

18.31666666666669

95% interval spolehlivosti pro permutaci dvou náhodných seznamů:

upper = np.quantile(simu_diff, 0.975)
lower = np.quantile(simu_diff, 0.025)
print([lower, upper])

[-10.033333333333331, 10.033333333333331]

Vizualizace výsledků permutace

sns.distplot(simu_diff)
plt.axvline(-10.03, color="red")
plt.axvline(10.03, color="red")
plt.axvline(18.32, color="green")

Graf rozdělení simulovaných výšek

Pojďme si procvičit!

Monte Carlo simulace v Pythonu