Kiểm thử A/B

Tìm hiểu về Khoa học Dữ liệu

Lis Sulmont

Curriculum Manager, DataCamp

Quy trình khoa học dữ liệu

Thí nghiệm giúp ra quyết định và rút kết luận

Đặt câu hỏi: Tiêu đề A hay B đem lại nhiều nhấp hơn?

Đặt giả thuyết: Tiêu đề A và B cho số nhấp như nhau.

Thu thập dữ liệu:

Kiểm định giả thuyết: Chênh lệch CTR giữa hai tiêu đề có ý nghĩa không?

Diễn giải kết quả:

Còn gọi là thử nghiệm Champion/Challenger

kiểm-thử-a-b.png

Cỡ mẫu: số điểm dữ liệu dùng
Ý nghĩa thống kê: kết quả khó do ngẫu nhiên
- Với các giả định của mô hình thống kê
- Dùng kiểm định thống kê để tính:
  - ví dụ: t-test, Z-test, ANOVA, Chi-square

nhấp-vào-liên-kết.jpg

cỡ-mẫu-phần-trăm.jpg

Chỉ số nền để đo thay đổi
- Mức người dùng thường nhấp vào liên kết blog của ta
Nếu tỷ lệ chênh nhiều so với 50%, cần cỡ mẫu lớn
- Tỷ lệ nhấp thường nhỏ (<3%)

độ-nhạy-cỡ-mẫu.jpg

Cỡ mẫu lớn giúp phát hiện thay đổi nhỏ

chạy-thí-nghiệm.jpg

ý-nghĩa-thống-kê.jpg

Tìm hiểu về Khoa học Dữ liệu