Dữ liệu đếm và phân phối Poisson

Mô hình Tuyến tính Tổng quát (GLM) trong Python

Ita Cirovic Donev

Data Science Consultant

Dữ liệu đếm

  • Đếm số lần xảy ra trong một đơn vị thời gian, quãng đường, diện tích hoặc thể tích xác định

Ví dụ:

  • Bàn thắng trong một trận bóng đá
  • Số trận động đất
  • Số vệ tinh của cua
  • Số giải thưởng một người nhận
  • Số lượt xe đạp qua cầu
Mô hình Tuyến tính Tổng quát (GLM) trong Python

Biến ngẫu nhiên Poisson

  • Sự kiện xảy ra độc lập và ngẫu nhiên
  • Phân phối Poisson

$$ P(y)=\frac{\lambda^ye^{-\lambda}}{y!} $$

  • $\lambda$: kỳ vọng và phương sai
  • $y=0,1,2,3, ...$
    • $\text{\color{#E80C7A}{Luôn dương}}$
    • Rời rạc (không liên tục)
    • $\text{\color{#E80C7A}{Cận dưới là 0}}$, không có cận trên
Mô hình Tuyến tính Tổng quát (GLM) trong Python

Hiểu tham số của phân phối Poisson

Biểu đồ phân phối của biến ngẫu nhiên Poisson với lambda lần lượt bằng 1, 5 và 10.

Mô hình Tuyến tính Tổng quát (GLM) trong Python

Trực quan hóa biến phản hồi

import seaborn as sns

sns.distplot('y')
Mô hình Tuyến tính Tổng quát (GLM) trong Python

Hồi quy Poisson

  • Biến phản hồi $$ y \sim Poisson(\lambda) $$

  • Kỳ vọng của phản hồi $$ E(y)=\lambda $$

  • Mô hình hồi quy Poisson $$ log(\lambda)=\beta_0+\beta_1x_1 $$

Mô hình Tuyến tính Tổng quát (GLM) trong Python

Biến giải thích

  • Liên tục và/hoặc phân loại $\rightarrow$ mô hình hồi quy Poisson
  • Phân loại $\rightarrow$ mô hình log-linear
Mô hình Tuyến tính Tổng quát (GLM) trong Python

GLM với Poisson trong Python

import statsmodels.api as sm
from statsmodels.formula.api import glm

glm('y ~ x', 
    data = my_data,
    family = sm.families.Poisson())
Mô hình Tuyến tính Tổng quát (GLM) trong Python

Ayo berlatih!

Mô hình Tuyến tính Tổng quát (GLM) trong Python

Preparing Video For Download...