Kontynuacja potoku infer

Testowanie hipotez w R

Richie Cotton

Data Evangelist at DataCamp

Przypomnienie: hipotezy i zbiór danych

$H_{0}$: Odsetek hobbystów poniżej 30 roku życia jest taki sam jak odsetek hobbystów w wieku co najmniej 30 lat.

$H_{A}$: Odsetek hobbystów poniżej 30 roku życia różni się od odsetka hobbystów w wieku co najmniej 30 lat.

alpha <- 0.1

stack_overflow_imbalanced %>% 
  count(hobbyist, age_cat, .drop = FALSE)

  hobbyist     age_cat    n
1       No At least 30    0
2       No    Under 30  191
3      Yes At least 30   15
4      Yes    Under 30 1025
Testowanie hipotez w R

Przypomnienie: przepływ pracy

null_distn <- dataset %>% 
  specify() %>% 
  hypothesize() %>% 
  generate() %>% 
  calculate()

observed_stat <- dataset %>% 
  specify() %>% 
  calculate()

get_p_value(null_distn, observed_stat)

stack_overflow_imbalanced %>%
  specify(hobbyist ~ age_cat, success = "Yes") %>% 
  hypothesize(null = "independence")

Response: hobbyist (factor)
Explanatory: age_cat (factor)
Null Hypothesis: independence
# A tibble: 1,231 x 2
  hobbyist age_cat    
  <fct>    <fct>      
1 Yes      At least 30
2 Yes      At least 30
3 Yes      At least 30
4 Yes      Under 30   
5 Yes      At least 30
6 Yes      At least 30
7 No       Under 30   
# ... with 1,224 more rows
Testowanie hipotez w R

Motywacja dla generate()

$H_{0}$: Odsetek hobbystów poniżej 30 roku życia jest taki sam jak odsetek hobbystów w wieku co najmniej 30 lat.

Jeśli $H_{0}$ jest prawdziwa, to

  • W każdym wierszu wartość hobbyist mogłaby wystąpić z jednakowym prawdopodobieństwem w każdej kategorii wiekowej.
  • Aby to zasymulować, możemy permutować (tasować) wartości hobbyist przy zachowaniu stałych kategorii wiekowych.
Testowanie hipotez w R
stack_overflow_imbalanced







# A tibble: 1,231 x 2
  hobbyist age_cat    
  <fct>    <fct>      
1 Yes      At least 30
2 Yes      At least 30
3 Yes      At least 30
4 Yes      Under 30   
5 Yes      At least 30
6 Yes      At least 30
7 No       Under 30   
# ... with 1,224 more rows

bind_cols(
  stack_overflow_imbalanced %>% 
    select(hobbyist) %>% 
    slice_sample(prop = 1),
  stack_overflow_imbalanced %>% 
    select(age_cat)
)

# A tibble: 1,231 x 2
  hobbyist age_cat    
  <fct>    <fct>      
1 Yes      At least 30
2 Yes      At least 30
3 No       At least 30
4 No       Under 30   
5 Yes      At least 30
6 Yes      At least 30
7 Yes      Under 30   
# ... with 1,224 more rows
Testowanie hipotez w R

Generowanie wielu replikatów

Dwukolumnowa siatka reprezentująca oryginalny zbiór danych widoczna jest po lewej. Po prawej stronie widnieje słowo generate ze strzałką skierowaną w prawo. Dalej widoczne są trzy kolejne dwukolumnowe siatki reprezentujące replikaty. Prawa kolumna każdego replikatu jest identyczna z prawą kolumną oryginalnego zbioru – zmienna objaśniająca pozostaje niezmieniona. Lewa kolumna każdego replikatu jest inna – zmienna odpowiedzi jest permutowana.

Testowanie hipotez w R

generate()

generate() generuje dane symulowane odzwierciedlające hipotezę zerową.

  • Dla hipotez zerowych "independence" ustaw type na "permute".
  • Dla hipotez zerowych "point" ustaw type na "bootstrap" lub "simulate".
stack_overflow_imbalanced %>%
  specify(hobbyist ~ age_cat, success = "Yes") %>% 
  hypothesize(null = "independence") %>% 
  generate(reps = 5000, type = "permute")

Response: hobbyist (factor)
Explanatory: age_cat (factor)
Null Hypothesis: independence
# A tibble: 6,155,000 x 3
# Groups:   replicate [5,000]
  hobbyist age_cat     replicate
  <fct>    <fct>           <int>
1 Yes      At least 30         1
2 Yes      At least 30         1
3 Yes      At least 30         1
4 Yes      Under 30            1
5 Yes      At least 30         1
6 Yes      At least 30         1
7 Yes      Under 30            1
# ... with 6,154,993 more rows
Testowanie hipotez w R

Obliczanie statystyki testowej

Siatki prostokątne reprezentujące oryginalny zbiór danych i replikaty widoczne w kroku generowania są pokazane. Poniżej widnieje słowo „calculate", a pod każdym replikatem skierowana w dół strzałka. Pod każdą strzałką znajduje się pojedyncza zacieniona komórka reprezentująca statystykę testową. Wszystkie statystyki testowe dla replikatów są otoczone ramką i oznaczone jako „rozkład zerowy".

Testowanie hipotez w R

calculate()

calculate() oblicza rozkład statystyk testowych zwany rozkładem zerowym.

null_distn <- stack_overflow_imbalanced %>%
  specify(
    hobbyist ~ age_cat, 
    success = "Yes"
  ) %>%
  hypothesize(null = "independence") %>%
  generate(reps = 5000, type = "permute") %>%
  calculate(
    stat = "diff in props", 
    order = c("At least 30", "Under 30")
  )

# A tibble: 5,000 x 2
  replicate    stat
      <int>   <dbl>
1         1  0.0896
2         2  0.0896
3         3 -0.180 
4         4  0.157 
5         5  0.0896
6         6 -0.113 
7         7  0.0221
# ... with 4,993 more rows
1 Strona pomocy ?calculate zawiera listę wszystkich możliwych statystyk testowych.
Testowanie hipotez w R

Wizualizacja rozkładu zerowego

visualize(null_distn)

Histogram rozkładu zerowego. Jest lewostronnie skośny i zawiera dziewięć odrębnych wartości.

null_distn %>% count(stat)

# A tibble: 9 x 2
     stat     n
    <dbl> <int>
1 -0.383      2
2 -0.315     22
3 -0.248     63
4 -0.180    246
5 -0.113    641
6 -0.0454  1132
7  0.0221  1453
8  0.0896  1063
9  0.157    378
Testowanie hipotez w R

Obliczanie statystyki testowej na oryginalnym zbiorze danych

Siatki prostokątne reprezentujące oryginalny zbiór danych i replikaty wraz z komórkami rozkładu zerowego z kroku calculate są pokazane. Tym razem pod oryginalnym zbiorem danych znajduje się strzałka skierowana w dół, a pod nią zacieniona komórka oznaczona ramką jako „obserwowana statystyka".

Testowanie hipotez w R

Obserwowana statystyka: specify() %>% calculate()

obs_stat <- stack_overflow_imbalanced %>%
  specify(hobbyist ~ age_cat, success = "Yes") %>%
  # hypothesize(null = "independence") %>%
  # generate(reps = 5000, type = "permute") %>%
  calculate(
    stat = "diff in props",
    order = c("At least 30", "Under 30")
  )

# A tibble: 1 x 1
   stat
  <dbl>
1 0.157
Testowanie hipotez w R

Wizualizacja rozkładu zerowego a obserwowana statystyka

visualize(null_distn) +
  geom_vline(
    aes(xintercept = stat),
    data = observed_stat, 
    color = "red"
  )

Histogram rozkładu zerowego z dodatkową czerwoną pionową linią w miejscu obserwowanej statystyki. Linia pionowa pokrywa się z najbardziej wysuniętym w prawo słupkiem histogramu.

Testowanie hipotez w R

Obliczanie wartości p

get_p_value(
  null_distn, obs_stat, 
  direction = "two sided"   # Not alternative = "two.sided"
)

# A tibble: 1 x 1
  p_value
    <dbl>
1   0.151

# A tibble: 1 x 6
  statistic chisq_df p_value alternative lower_ci upper_ci
      <dbl>    <dbl>   <dbl> <chr>          <dbl>    <dbl>
1      2.79        1  0.0949 two.sided    0.00718   0.0217
Testowanie hipotez w R

Czas na ćwiczenia!

Testowanie hipotez w R

Preparing Video For Download...