Vì sao dùng phân tích sống sót?

Phân tích sống sót bằng Python

Shae Wang

Senior Data Scientist

Ví dụ: tuổi thọ pin trung bình

Tên DataFrame: battery_df

Mã pin	Thời lượng	Chết	Thương hiệu	Xe tải
1	2.5 năm	Không	Hãng A	Dài
2	6 năm	Có	Hãng B	Ngắn
3	5 năm	Không	Hãng B	Dài
...	...	...	...	...
1000	4.5 năm	Có	Hãng A	Ngắn

Tuổi thọ pin trung bình là bao nhiêu?

np.average(battery_df["Duration"])

Tranh kiểm duyệt tuổi thọ pin.

Tranh kiểm duyệt tuổi thọ pin.

$T_{duration} \neq T_{lifetime}$ với pin chưa hỏng.
Pin 1, 3, 4 và các pin chưa quan sát hỏng đã được tính trung bình một cách không phù hợp.

Khi thời gian sống chỉ biết một phần.

Kiểm duyệt xảy ra thế nào?

Sự kiện chưa xảy ra khi kết thúc quan sát.
- ví dụ: người dùng dùng thử chưa chuyển trả phí khi kết thúc thử nghiệm.
Thiếu dữ liệu do rời mẫu hoặc mất liên lạc.
- ví dụ: người dùng dùng thử từ chối chia sẻ dữ liệu cho thử nghiệm.

Tranh minh họa loại kiểm duyệt.

Không bị kiểm duyệt: sự kiện đã xảy ra và thời gian sống biết rõ.
Kiểm duyệt phải: thời gian sống > thời gian quan sát.
Kiểm duyệt trái: thời gian sống < thời gian quan sát.
Kiểm duyệt khoảng: thời gian sống nằm trong một khoảng, không biết chính xác.

Thống kê tổng hợp

Hồi quy

$$S(t)=Pr(T>t)$$

Tranh dữ liệu không bị kiểm duyệt.

Tranh dữ liệu bị kiểm duyệt.

Có cách nhận diện điểm dữ liệu bị kiểm duyệt không?

Bước 1) Tìm cột kiểm duyệt (thường đã tiền xử lý).

Dữ liệu bị kiểm duyệt có quá nhiều không?

Bước 2) Kiểm tra tỷ lệ điểm dữ liệu bị kiểm duyệt (kinh nghiệm: 50%).

Kiểm duyệt có ngẫu nhiên và không thông tin không?

Bước 3) Tìm nguyên nhân kiểm duyệt để đảm bảo việc bị kiểm duyệt không ảnh hưởng đến sống sót.

Phân tích sống sót bằng Python