Popisná a inferenční statistika

Analýza dat z průzkumů v Pythonu

EbunOluwa Andrew

Data Scientist

Popisná statistika

  • Základní míry pro popis dat z průzkumů
  • Příklady: průměr, medián, modus, rozptyl, směrodatná odchylka apod.
  • .describe()

Photo by Lukas - detail grafu

1 Photo by Lukas
Analýza dat z průzkumů v Pythonu

Funkce .describe()

data.describe()

|      | year     | satisfaction_rating
|------|----------|--------------------
| count|       42 |                  42
| mean | 2012.381 |            7192.857
| std  |    4.196 |             945.178
| min  |     2006 |                5500
| 25%  |     2009 |                6325
| 50%  |   2012.5 |                7400
| 75%  |     2016 |                8000
| max  |     2019 |                8600

data.describe(include = np.object)

|        | category    |
|--------|-------------|
| count  | 42          |
| unique | 3           |
| top    | Residential |
| freq   | 14          |
Analýza dat z průzkumů v Pythonu

Interpretace .describe()

  • Odlehlá hodnota = max > průměr a medián
  • Nepravděpodobné hodnoty = logicky neodpovídající hodnoty
|       | year     | satisfaction_rating |
|-------|----------|---------------------|
| count |       42 |                  42 |
| mean  | 2012.381 |            7192.857 |
| std   |    4.196 |             945.178 |
| min   |     2006 |                5500 |
| 25%   |     2009 |                6325 |
| 50%   |   2012.5 |                7400 |
| 75%   |     2016 |                8000 |
| max   |     2019 |                8600 |
Analýza dat z průzkumů v Pythonu

Interpretace .describe()

  • Top = modus = nejčastější třída
  • Freq = počet výskytů nejčastější třídy
|        | category    |
|--------|-------------|
| count  | 42          |
| unique | 3           |
| top    | Residential |
| freq   | 14          |
Analýza dat z průzkumů v Pythonu

.describe() na electric_satisfaction

import pandas as pd

electric_satisfaction = pd.read_csv("austin-energy-customer-satisfaction.csv")
Analýza dat z průzkumů v Pythonu

.describe() na electric_satisfaction

electric_satisfaction.describe()

|      | year     | satisfaction_rating
|------|----------|--------------------
| count|       42 |                  42
| mean | 2012.381 |            7192.857
| std  |    4.196 |             945.178
| min  |     2006 |                5500
| 25%  |     2009 |                6325
| 50%  |   2012.5 |                7400
| 75%  |     2016 |                8000
| max  |     2019 |                8600
  • satisfaction_rating obsahuje odlehlé hodnoty
    1. percentil = medián
Analýza dat z průzkumů v Pythonu

.describe() na electric_satisfaction

|        | category    |
|--------|-------------|
| count  | 42          |
| unique | 3           |
| top    | Residential |
| freq   | 14          |
  • Modus = rezidenční respondenti
Analýza dat z průzkumů v Pythonu

Inferenční statistika

  • Určuje, zda lze data aplikovat na širší populaci
  • Velikost vzorku < velikost populace -> chyba výběru
  • Odhad parametrů populace
    • Intervaly spolehlivosti
      • Funkce norm.interval()

Photo by Andrea Piacquadio on Pexels - žena držící žárovku

1 Photo by Andrea Piacquadio on Pexels
Analýza dat z průzkumů v Pythonu

Funkce norm.interval()

  • Pro velké datové sady
  • Předpoklad: výběrové rozdělení průměru je normální
import scipy.stats
scipy.stats.norm.interval(alpha, loc, scale)
  • alpha = hladina spolehlivosti
  • loc = výběrový průměr
  • scale = výběrová směrodatná chyba
Analýza dat z průzkumů v Pythonu

Interpretace norm.interval() na electric_satisfaction

electric_satisfaction = pd.read_csv(
  "austin-energy-customer-satisfaction.csv")

conf_interval = st.norm.interval(
  alpha = 0.99,
  loc = np.mean(electric_satisfaction.satisfaction),
  scale=st.sem(electric_satisfaction.satisfaction))


print(conf_interval)

(6817.187361704269, 7568.526924010017)
Analýza dat z průzkumů v Pythonu

Pojďme si procvičit!

Analýza dat z průzkumů v Pythonu

Preparing Video For Download...