Vì sao chạy thí nghiệm?

A/B Testing bằng Python

Moe Lotfy, PhD

Principal Data Science Manager

Giá trị của A/B testing

Giảm bất định về tác động của thiết kế/tính năng mới
Ra quyết định khoa học, dựa trên bằng chứng — không theo trực giác
Hiệu quả đầu tư cao: thay đổi nhỏ có thể tạo kết quả lớn
Tối ưu liên tục ở giai đoạn vận hành trưởng thành
Tương quan không hàm ý quan hệ nhân quả

Thang bậc bằng chứng

Phiên bản điều chỉnh của hệ thống phân cấp bằng chứng

¹ https://jamanetwork.com/journals/jama/article-abstract/392650

Thông báo lỗi có giảm rời bỏ không?

Ví dụ về tương quan ngụy tạo trong Microsoft Office 365:$^1$
- Tương quan ngụy tạo: tương quan mạnh trông có vẻ nhân quả nhưng thực ra không phải.

¹ Kohavi, Ron,Tang, Diane,Xu, Ya. Trustworthy Online Controlled Experiments. Cambridge University Press.

Hệ số tương quan Pearson

Điểm số đo độ mạnh của quan hệ tuyến tính giữa hai biến.
r>0: tương quan dương
r = 0: không tương quan
r<0: tương quan âm

Công thức hệ số tương quan Pearson (r):

Phương trình hệ số tương quan Pearson (r)

Giả định: Phân phối chuẩn và tuyến tính

Quan sát trực quan tương quan

# Import visualization library seaborn
import seaborn as sns

# Create pairplots
sns.pairplot(admissions[['Serial No.',\
      'GRE Score', 'Chance of Admit']])

Biểu đồ scatter cho thấy mối quan hệ giữa ba cột trong tập dữ liệu

Heatmap tương quan Pearson

# Import visualization library seaborn
import seaborn as sns

# Print Pearson correlation coefficient
print(admissions['GRE Score']\
   .corr(admissions['Chance of Admit']))

0.8026104595903503

# Plot correlations heatmap
sns.heatmap(admissions.corr(),annot=True)

Biểu đồ nhiệt các biến và hệ số tương quan trong tập dữ liệu

Hãy luyện tập!

A/B Testing bằng Python