Kiểm tra hợp lý: tính hợp lệ bên ngoài

A/B Testing bằng Python

Moe Lotfy, PhD

Principal Data Science Manager

Nghịch lý Simpson

Nghịch lý Simpson: hiện tượng thống kê khi xu hướng giữa các biến xuất hiện, biến mất hoặc đảo chiều khi chia dân số thành các phân đoạn.

print(simp_imbalanced.groupby('Variant').mean())

Variant     Conversion
A              0.80
B              0.64

print(simp_imbalanced.groupby(['Variant','Device']).mean())

Variant Device   Conversion
A       Phone        0.875
        Tablet       0.500
B       Phone        0.900
        Tablet       0.575

simp_imbalanced.groupby(['Variant','Device'])\
                            ['Device'].count()

Variant  Device
A        Phone     40
         Tablet    10
B        Phone     10
         Tablet    40

Bảng ví dụ về nghịch lý Simpson

simp_balanced.groupby(['Variant','Device'])\
                        ['Device'].count()

Variant  Device
A        Phone     40
         Tablet    10
B        Phone     40
         Tablet    10

print(simp_balanced.groupby('Variant').mean())

Variant     Conversion
A              0.70
B              0.52

print(simp_balanced.groupby(['Variant','Device']).mean())

Variant Device     Conversion
A       Phone        0.750
        Tablet       0.500
B       Phone        0.575
        Tablet       0.300

Hiệu ứng mới lạ
- Sự cải thiện ngắn hạn do người dùng tò mò về tính năng mới.
Ác cảm với thay đổi
- Đối nghịch với hiệu ứng mới lạ.
- Người dùng né thử tính năng mới vì quen bản cũ.

# Plot Lift in CTR vs test days
novelty.plot('date', 'CTR_lift')
plt.ylim([0, 0,09])
plt.title('Lift in CTR vs Test Duration')
plt.show()

Minh họa hiệu ứng mới lạ bằng biểu đồ đường CTR theo ngày thử nghiệm

Kéo dài thời gian thử nghiệm
- Chỉ lấy dữ liệu sau khi tác động của xử lý ổn định.
Xem theo nhóm người dùng mới và quay lại
- Người dùng mới thường ít gặp hiệu ứng mới lạ hơn.
- Người dùng cũ so sánh với trải nghiệm trước đây.

A/B Testing bằng Python