Framework „There is only one test"

Testowanie hipotez w R

Richie Cotton

Data Evangelist at DataCamp

Dane niezrównoważone

stack_overflow_imbalanced %>% 
  count(hobbyist, age_cat, .drop = FALSE)

  hobbyist     age_cat    n
1       No At least 30    0
2       No    Under 30  191
3      Yes At least 30   15
4      Yes    Under 30 1025

Próba jest niezrównoważona, jeśli niektóre grupy są znacznie większe od innych.

Hipotezy

$H_{0}$: Odsetek hobbystów poniżej 30 lat jest taki sam jak odsetek hobbystów mających co najmniej 30 lat.

$H_{A}$: Odsetek hobbystów poniżej 30 lat różni się od odsetka hobbystów mających co najmniej 30 lat.

alpha <- 0.1

Test proporcji mimo niezrównoważenia danych

stack_overflow_imbalanced %>% 
  prop_test(
    hobbyist ~ age_cat,
    order = c("At least 30", "Under 30"),
    success = "Yes",
    alternative = "two.sided",
    correct = FALSE
  )

# A tibble: 1 x 6
  statistic chisq_df p_value alternative lower_ci upper_ci
      <dbl>    <dbl>   <dbl> <chr>          <dbl>    <dbl>
1      2.79        1  0.0949 two.sided    0.00718   0.0217

Gramatyka grafiki

Typ wykresu	base-R	ggplot2
Wykres punktowy	`plot(, type = "p")`	`ggplot() + geom_point()`
Wykres liniowy	`plot(, type = "l")`	`ggplot() + geom_line()`
Histogram	`hist()`	`ggplot() + geom_histogram()`
Wykres pudełkowy	`boxplot()`	`ggplot() + geom_boxplot()`
Wykres słupkowy	`barplot()`	`ggplot() + geom_bar()`
Wykres kołowy	`pie()`	`ggplot() + geom_bar() + coord_polar()`

Gramatyka testów hipotez

Framework There is only one test Allena Downeya.
Zaimplementowany w R w pakiecie infer.
generate() tworzy dane symulowane.
- Wymaga dużej mocy obliczeniowej.
- Odporny na małe lub niezrównoważone próby.

null_distn <- dataset %>% 
  specify() %>% 
  hypothesize() %>% 
  generate() %>% 
  calculate()

obs_stat <- dataset %>% 
  specify() %>% 
  calculate()

get_p_value(null_distn, obs_stat)

¹ Allen Downey prowadzi kurs „Exploratory Data Analysis in Python".

Wybór zmiennych

Po lewej stronie znajduje się prostokątna siatka komórek reprezentująca ramkę danych. Dwie kolumny są wyróżnione. Po prawej stronie siatki widnieje słowo „specify" ze strzałką skierowaną w prawo. Po prawej stronie tej strzałki znajduje się kolejna prostokątna siatka zawierająca tylko dwie wyróżnione kolumny.

specify()

specify() wybiera zmienne do testowania.

Dla 2 prób: response ~ explanatory.
Dla 1 próby: response ~ NULL.

stack_overflow_imbalanced %>%
  specify(hobbyist ~ age_cat, success = "Yes")

Response: hobbyist (factor)
Explanatory: age_cat (factor)
# A tibble: 1,231 x 2
  hobbyist age_cat    
  <fct>    <fct>      
1 Yes      At least 30
2 Yes      At least 30
3 Yes      At least 30
4 Yes      Under 30   
5 Yes      At least 30
6 Yes      At least 30
7 No       Under 30   
# ... with 1,224 more rows

hypothesize()

hypothesize() określa typ hipotezy zerowej.

Dla 2 prób: "independence" lub "point".
Dla 1 próby: "point".

stack_overflow_imbalanced %>%
  specify(hobbyist ~ age_cat, success = "Yes") %>%
  hypothesize(null = "independence")

Response: hobbyist (factor)
Explanatory: age_cat (factor)
Null Hypothesis: independence
# A tibble: 1,231 x 2
  hobbyist age_cat    
  <fct>    <fct>      
1 Yes      At least 30
2 Yes      At least 30
3 Yes      At least 30
4 Yes      Under 30   
5 Yes      At least 30
6 Yes      At least 30
7 No       Under 30   
# ... with 1,224 more rows

Czas na ćwiczenia!

Testowanie hipotez w R