การออกแบบและการประมาณค่าเมตริก

A/B Testing ด้วย Python

Moe Lotfy, PhD

Principal Data Science Manager

ประเภทของเมตริก

เมตริกหลัก (goal/north-star):
- อธิบายความสำเร็จของธุรกิจหรือพันธกิจได้ดีที่สุด
เมตริกย่อย:
- อธิบายพฤติกรรมผู้ใช้ได้ดีที่สุด
- ไวต่อการเปลี่ยนแปลงและนำไปใช้งานได้จริง
- อัตราการสมัคร:
  - = (clicks/visitors) X (signups/clicks)
เมตริก Instrumentation/guardrail:
- อยู่นอกขอบเขตของคอร์สนี้

ภาพประกอบเมตริก north star

ภาพประกอบเมตริกแบบ bar chart และ line plot

ประเภทของเมตริก

การจำแนกเชิงปริมาณ

ค่าเฉลี่ย/เปอร์เซ็นไทล์: ยอดขายเฉลี่ย, เวลาบนหน้าเว็บมัธยฐาน
สัดส่วน:
- อัตราการสมัคร: signups/total visitors
- อัตราการออกจากหน้า: page abandoners/total visitors
อัตราส่วน:
- Click-through-rate(CTR): clicks/page visits หรือ clicks/ad impressions
- รายได้ต่อ session
สามารถรวมเมตริกหลายตัวเพื่อสร้างเกณฑ์ความสำเร็จ/ล้มเหลวที่ครอบคลุมยิ่งขึ้น

ข้อกำหนดของเมตริก

มีเสถียรภาพ/แข็งแกร่ง ต่อความแตกต่างที่ไม่สำคัญ
ไวต่อการเปลี่ยนแปลงที่สำคัญ
วัดได้ภายในข้อจำกัดของการบันทึกข้อมูล
ป้องกันการโกงได้
- สีที่โดดเด่น
- เวลาบนหน้าเว็บ

ปุ่ม call-to-action สีสันเกินจริง

การประมาณค่าเมตริกด้วย Python

checkout.groupby('gender')['purchased'].mean()

gender
F    0.908056
M    0.780009
Name: purchased, dtype: float64

checkout[(checkout['browser']=='chrome')|(checkout['browser']=='safari')]\
    .groupby('gender')['order_value'].mean()

gender
F    29.814161
M    30.383431
Name: order_value, dtype: float64

การประมาณค่าเมตริกด้วย Python

checkout.groupby('browser')[['order_value', 'purchased']].mean()

         order_value  purchased
browser                        
chrome     30.016625   0.839088
firefox    29.887491   0.851725
safari     30.119808   0.844337

มาฝึกกันเถอะ!

A/B Testing ด้วย Python