Thống kê mô tả và suy luận

Phân tích dữ liệu khảo sát bằng Python

EbunOluwa Andrew

Data Scientist

Thống kê mô tả

Thước đo cơ bản mô tả dữ liệu khảo sát
Ví dụ: mean, median, mode, range, standard deviation, v.v.
.describe()

Ảnh của Lukas - biểu đồ cận cảnh

¹ Ảnh: Lukas

Hàm .describe()

data.describe()

|      | year     | satisfaction_rating
|------|----------|--------------------
| count|       42 |                  42
| mean | 2012.381 |            7192.857
| std  |    4.196 |             945.178
| min  |     2006 |                5500
| 25%  |     2009 |                6325
| 50%  |   2012.5 |                7400
| 75%  |     2016 |                8000
| max  |     2019 |                8600

data.describe(include = np.object)

|        | category    |
|--------|-------------|
| count  | 42          |
| unique | 3           |
| top    | Residential |
| freq   | 14          |

Diễn giải .describe()

Ngoại lệ = giá trị max > mean & median
Giá trị bất hợp lý = không logic

|       | year     | satisfaction_rating |
|-------|----------|---------------------|
| count |       42 |                  42 |
| mean  | 2012.381 |            7192.857 |
| std   |    4.196 |             945.178 |
| min   |     2006 |                5500 |
| 25%   |     2009 |                6325 |
| 50%   |   2012.5 |                7400 |
| 75%   |     2016 |                8000 |
| max   |     2019 |                8600 |

Diễn giải .describe()

Top = mode = lớp xuất hiện nhiều nhất
Freq = số lần lớp cao nhất xuất hiện

|        | category    |
|--------|-------------|
| count  | 42          |
| unique | 3           |
| top    | Residential |
| freq   | 14          |

.describe() trên electric_satisfaction

import pandas as pd

electric_satisfaction = pd.read_csv("austin-energy-customer-satisfaction.csv")

.describe() trên electric_satisfaction

electric_satisfaction.describe()

|      | year     | satisfaction_rating
|------|----------|--------------------
| count|       42 |                  42
| mean | 2012.381 |            7192.857
| std  |    4.196 |             945.178
| min  |     2006 |                5500
| 25%  |     2009 |                6325
| 50%  |   2012.5 |                7400
| 75%  |     2016 |                8000
| max  |     2019 |                8600

satisfaction_rating có ngoại lệ
Phân vị 50% = trung vị

.describe() trên electric_satisfaction

|        | category    |
|--------|-------------|
| count  | 42          |
| unique | 3           |
| top    | Residential |
| freq   | 14          |

Mode = nhóm Residential

Thống kê suy luận

Xác định liệu dữ liệu có thể suy rộng cho tổng thể
Cỡ mẫu < cỡ tổng thể -> sai số lấy mẫu
Ước lượng tham số tổng thể
- Khoảng tin cậy
  - hàm norm.interval()

Ảnh của Andrea Piacquadio trên Pexels - phụ nữ cầm bóng đèn

¹ Ảnh: Andrea Piacquadio trên Pexels

Hàm norm.interval()

Cho bộ dữ liệu lớn
Giả định phân phối lấy mẫu của trung bình là chuẩn

import scipy.stats
scipy.stats.norm.interval(alpha, loc, scale)

alpha = mức tin cậy
loc = trung bình mẫu
scale= sai số chuẩn mẫu

Diễn giải norm.interval() trên electric_satisfaction

electric_satisfaction = pd.read_csv(
  "austin-energy-customer-satisfaction.csv")

conf_interval = st.norm.interval(
  alpha = 0.99,
  loc = np.mean(electric_satisfaction.satisfaction),
  scale=st.sem(electric_satisfaction.satisfaction))


print(conf_interval)

(6817.187361704269, 7568.526924010017)

Ayo berlatih!

Phân tích dữ liệu khảo sát bằng Python