Thiết kế và ước lượng chỉ số

A/B Testing bằng Python

Moe Lotfy, PhD

Principal Data Science Manager

Các loại chỉ số

Chính (mục tiêu/ngôi sao phương Bắc):
- Phản ánh rõ nhất thành công của doanh nghiệp/sứ mệnh
Chỉ số chi tiết:
- Giải thích tốt nhất hành vi người dùng
- Nhạy và dễ hành động hơn
- Tỷ lệ đăng ký:
  - = (clicks/visitors) X (signups/clicks)
Chỉ số đo lường/guardrail:
- Ngoài phạm vi của khóa học này

Minh họa chỉ số ngôi sao phương Bắc

Minh họa biểu đồ cột và đường cho chỉ số

Các loại chỉ số

Phân loại định lượng

Trung bình/phân vị: doanh số trung bình, thời gian ở trang trung vị
Tỷ lệ phần trăm (proportion):
- Tỷ lệ đăng ký: signups/total visitors
- Tỷ lệ thoát trang: page abandoners/total visitors
Tỷ số (ratio):
- Tỷ lệ nhấp (CTR): clicks/page visits hoặc clicks/ad impressions
- Doanh thu mỗi phiên
Có thể kết hợp chỉ số để tạo tiêu chí thành/bại toàn diện hơn

Yêu cầu với chỉ số

Ổn định/vững trước khác biệt không quan trọng
Nhạy với thay đổi quan trọng
Đo được trong giới hạn logging
Khó bị lách
- Màu sắc sặc sỡ
- Thời gian ở trang

Nút kêu gọi hành động phóng đại, màu sáng

Ước lượng chỉ số với Python

checkout.groupby('gender')['purchased'].mean()

gender
F    0.908056
M    0.780009
Name: purchased, dtype: float64

checkout[(checkout['browser']=='chrome')|(checkout['browser']=='safari')]\
    .groupby('gender')['order_value'].mean()

gender
F    29.814161
M    30.383431
Name: order_value, dtype: float64

Ước lượng chỉ số với Python

checkout.groupby('browser')[['order_value', 'purchased']].mean()

         order_value  purchased
browser                        
chrome     30.016625   0.839088
firefox    29.887491   0.851725
safari     30.119808   0.844337

Ayo berlatih!

A/B Testing bằng Python