ทำไมต้องรันการทดลอง?

A/B Testing ด้วย Python

Moe Lotfy, PhD

Principal Data Science Manager

คุณค่าของการทดสอบ A/B

ลดความไม่แน่นอนเกี่ยวกับผลกระทบของดีไซน์และฟีเจอร์ใหม่
การตัดสินใจ --> เชิงวิทยาศาสตร์ อ้างอิงหลักฐาน ไม่ใช่สัญชาตญาณ
คุ้มค่าการลงทุน: การเปลี่ยนแปลงเล็กน้อยนำมาซึ่งผลลัพธ์ที่ยิ่งใหญ่
การปรับปรุงต่อเนื่องในระยะที่ธุรกิจเติบโตเต็มที่
ความสัมพันธ์ไม่ได้หมายความว่าเป็นสาเหตุ

ลำดับชั้นของหลักฐาน

เวอร์ชันดัดแปลงของลำดับชั้นของหลักฐาน

¹ https://jamanetwork.com/journals/jama/article-abstract/392650

ข้อความแสดงข้อผิดพลาดช่วยลด churn ได้จริงหรือ?

ตัวอย่างความสัมพันธ์ลวงของ Microsoft Office 365:$^1$
- ความสัมพันธ์ลวง (Spurious correlation): ความสัมพันธ์ที่แข็งแกร่งซึ่งดูเหมือนมีความเป็นเหตุเป็นผล แต่ที่จริงไม่ใช่

¹ Kohavi, Ron,Tang, Diane,Xu, Ya. Trustworthy Online Controlled Experiments. Cambridge University Press.

สัมประสิทธิ์สหสัมพันธ์ของ Pearson

ค่าที่วัดความแข็งแกร่งของความสัมพันธ์เชิงเส้นระหว่างตัวแปรสองตัว
r>0: ความสัมพันธ์เชิงบวก
r = 0: ความสัมพันธ์เป็นกลาง
r<0: ความสัมพันธ์เชิงลบ

สูตรสัมประสิทธิ์สหสัมพันธ์ของ Pearson (r):

สมการสัมประสิทธิ์สหสัมพันธ์ของ Pearson (r)

สมมติฐาน: การแจกแจงแบบปกติและความเป็นเส้นตรง

การตรวจสอบความสัมพันธ์ด้วยภาพ

# Import visualization library seaborn
import seaborn as sns

# Create pairplots
sns.pairplot(admissions[['Serial No.',\
      'GRE Score', 'Chance of Admit']])

กราฟ scatter plot แสดงความสัมพันธ์ระหว่างสามคอลัมน์ในชุดข้อมูล

Heatmap สหสัมพันธ์ของ Pearson

# Import visualization library seaborn
import seaborn as sns

# Print Pearson correlation coefficient
print(admissions['GRE Score']\
   .corr(admissions['Chance of Admit']))

0.8026104595903503

# Plot correlations heatmap
sns.heatmap(admissions.corr(),annot=True)

กราฟ heatmap ของตัวแปรทั้งหมดในชุดข้อมูลและค่าสัมประสิทธิ์สหสัมพันธ์

มาฝึกกันเถอะ!

A/B Testing ด้วย Python