Wprowadzenie do bootstrappingu

Próbkowanie w R

Richie Cotton

Data Evangelist at DataCamp

Ze zwracaniem lub bez

Próbkowanie bez zwracania

Karty do gry na stole w kasynie.

Próbkowanie ze zwracaniem ("resampling")

Cztery toczące się kości do gry.

Proste losowanie bez zwracania

Populacja

Ziarna kawy ułożone w rzędach i kolumnach.

Próba

Ziarna kawy ułożone w rzędach i kolumnach, większość jest wyszarzona.

Proste losowanie ze zwracaniem

Populacja

Ziarna kawy ułożone w rzędach i kolumnach.

Próba

Losowa próba ziaren kawy, z których niektóre się powtarzają.

Dlaczego próbkować ze zwracaniem?

Dane coffee_ratings traktujemy jako próbę z większej populacji wszystkich kaw.
Każda kawa w próbie reprezentuje wiele kaw spoza próby, które istnieją w populacji.
Próbkowanie ze zwracaniem jest przybliżeniem uwzględnienia różnych grup w próbie.

Przygotowanie danych o kawie

coffee_focus <- coffee_ratings %>%
  select(variety, country_of_origin, flavor) %>%
  rowid_to_column()

glimpse(coffee_focus)

Rows: 1,338
Columns: 4
$ rowid             <int> 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, ...
$ variety           <chr> NA, "Other", "Bourbon", NA, "Other", NA, "Other", N...
$ country_of_origin <chr> "Ethiopia", "Ethiopia", "Guatemala", "Ethiopia", "E...
$ flavor            <dbl> 8.83, 8.67, 8.50, 8.58, 8.50, 8.42, 8.50, 8.33, 8.6...

Resampling z slice_sample()

coffee_resamp <- coffee_focus %>%
  slice_sample(prop = 1, replace = TRUE)

# A tibble: 1,338 x 4
   rowid variety country_of_origin flavor
   <int> <chr>   <chr>              <dbl>
 1  1253 Bourbon Guatemala           6.92
 2   186 Caturra Colombia            7.58
 3  1185 Bourbon Guatemala           7.42
 4  1273 NA      Philippines         6.5 
 5  1042 Caturra Honduras            7.33
 6   195 Caturra Guatemala           7.75
 7  1219 Typica  Mexico              7   
 8   952 Caturra Honduras            7.5 
 9    41 Caturra Thailand            8.33
10   460 Caturra Honduras            7.67
# ... with 1,328 more rows

Powtarzające się kawy

coffee_resamp %>% 
  count(rowid, sort = TRUE)

# A tibble: 844 x 2
   rowid     n
   <int> <int>
 1   704     5
 2   913     5
 3  1070     5
 4    16     4
 5   180     4
 6   230     4
 7   234     4
 8   342     4
 9   354     4
10   423     4
# ... with 834 more rows

Brakujące kawy

coffee_resamp %>% 
  summarize(
    coffees_included = n_distinct(rowid),
    coffees_not_included = n() - coffees_included
  )

# A tibble: 1 x 2
  coffees_included coffees_not_included
             <int>                <int>
1              844                  494

Bootstrapping

Odwrotność próbkowania z populacji.

Próbkowanie: przejście od populacji do mniejszej próby.

Bootstrapping: budowanie teoretycznej populacji na podstawie próby.

Zastosowanie bootstrappingu

Poznanie zmienności próbkowania na podstawie jednej próby.

But kowbojski.

Proces bootstrappingu

Utwórz resample o takim samym rozmiarze jak oryginalna próba.
Oblicz interesującą statystykę dla tej próby bootstrapowej.
Powtórz kroki 1 i 2 wiele razy.

Otrzymane statystyki to statystyki bootstrapowe, a ich rozkład zmienności to rozkład bootstrapowy.

Bootstrapping średniej oceny smaku kawy

# Step 3. Repeat many times
mean_flavors_1000 <- replicate(
  n = 1000,
  expr = {

    coffee_focus %>%
      # Step 1. Resample
      slice_sample(prop = 1, replace = TRUE) %>%

      # Step 2. Calculate statistic
      summarize(mean_flavor = mean(flavor, na.rm = TRUE)) %>% 
      pull(mean_flavor)

})

Histogram rozkładu bootstrapowego

bootstrap_distn <- tibble(
  resample_mean = mean_flavors_1000
)

ggplot(bootstrap_distn, aes(resample_mean)) +
  geom_histogram(binwidth = 0.0025)

Histogram rozkładu bootstrapowego średniej z próby.

Czas na ćwiczenia!

Próbkowanie w R