การกระจายและค่าผิดปกติ

การวิเคราะห์ข้อมูลเชิงสำรวจใน Power BI

Jacob H. Marquez

Data Scientist at Microsoft

การกระจายคืออะไร?

นิยาม: ชุดของค่าที่เป็นไปได้ทั้งหมดของตัวแปรและความถี่ที่สัมพันธ์กัน

การกระจายคืออะไร?

ต่อเนื่อง

อายุ	ความถี่
18	7
19	11
20	13
21	19
22	12

การกระจายคืออะไร?

ต่อเนื่อง

อายุ	ความถี่
18	7
19	11
20	13
21	19
22	12

เชิงหมวดหมู่

สีผม	ความถี่
บลอนด์	30
น้ำตาล	50
ดำ	40
แดง	20
เทา	20

ฮิสโตแกรมคืออะไร?

ฮิสโตแกรมแสดงส่วนสูงของผู้คน แกน x คือค่าส่วนสูง แกน y คือจำนวนการสังเกต ฮิสโตแกรมมีหางแคบทั้งสองด้านและมีมวลขนาดใหญ่อยู่ตรงกลาง

ฮิสโตแกรมคืออะไร? - bins

ฮิสโตแกรมแบบ 100 bins

ฮิสโตแกรมแสดงส่วนสูงของผู้คน แกน x คือค่าส่วนสูง แกน y คือจำนวนการสังเกต ฮิสโตแกรมมีความละเอียดและแสดงรายละเอียดมากขึ้นด้วย 100 bins

ฮิสโตแกรมแบบ 20 bins

ฮิสโตแกรมแสดงส่วนสูงของผู้คน แกน x คือค่าส่วนสูง แกน y คือจำนวนการสังเกต ฮิสโตแกรมดูเป็นช่องสี่เหลี่ยมและแข็งกว่าเนื่องจากมี bins น้อยกว่า

อ่านฮิสโตแกรม - ค่ากลางและความเบ้

ฮิสโตแกรมแสดงส่วนสูงของผู้คน แกน x คือค่าส่วนสูง แกน y คือจำนวนการสังเกต มีมวลข้อมูลจำนวนมากอยู่ตรงกลางและลดลงที่ปลายทั้งสองด้าน

การกระจายแบบปกติ (Normal distribution)

ฮิสโตแกรมแสดงส่วนสูงของผู้คน แกน x คือค่าส่วนสูง แกน y คือจำนวนการสังเกต มีมวลข้อมูลจำนวนมากอยู่ทางซ้ายและแคบลงเรื่อย ๆ ทางขวา

การกระจายเบ้ขวา (Right-skewed distribution)

อ่านฮิสโตแกรม - การกระจาย

ส่วนเบี่ยงเบนมาตรฐานมาก

ส่วนเบี่ยงเบนมาตรฐานน้อย

ฮิสโตแกรมแสดงส่วนสูงของผู้คน แกน x คือค่าส่วนสูง แกน y คือจำนวนการสังเกต รูปร่างแคบและเกือบเป็นแท่งแหลม เนื่องจากส่วนเบี่ยงเบนมาตรฐานมีค่าน้อย

อ่านฮิสโตแกรม - เปอร์เซ็นไทล์

ฮิสโตแกรมแสดงส่วนสูงของผู้คน แกน x คือค่าส่วนสูง แกน y คือจำนวนการสังเกต มีพื้นที่แรเงาสีเขียวจากตรงกลางไปทางซ้าย แสดงถึงเปอร์เซ็นไทล์ที่ 50

อ่านฮิสโตแกรม - เปอร์เซ็นไทล์ที่ 25 และ 75

ฮิสโตแกรมแสดงส่วนสูงของผู้คน แกน x คือค่าส่วนสูง แกน y คือจำนวนการสังเกต มีพื้นที่แรเงาสีเขียวสองส่วน ได้แก่ จากเปอร์เซ็นไทล์ที่ 25 ไปทางซ้าย และจากเปอร์เซ็นไทล์ที่ 75 ไปทางขวา

อ่านฮิสโตแกรม - ช่วงควอร์ไทล์ (IQR)

ฮิสโตแกรมแสดงส่วนสูงของผู้คน แกน x คือค่าส่วนสูง แกน y คือจำนวนการสังเกต มีพื้นที่แรเงาสีเขียวจากเปอร์เซ็นไทล์ที่ 25 ถึง 75 แสดงถึงช่วงควอร์ไทล์ (IQR)

ค่าผิดปกติคืออะไร?

ฮิสโตแกรมแสดงส่วนสูงของผู้คน แกน x คือค่าส่วนสูง แกน y คือจำนวนการสังเกต มีพื้นที่แรเงาสีเขียวที่ปลายทั้งสองด้าน เพื่อเน้นค่าผิดปกติที่อาจเกิดขึ้น

การหาค่าผิดปกติ

ใช้ส่วนเบี่ยงเบนมาตรฐาน

$lower = -3 * SD$

$upper = 3 * SD$

ถือเป็นค่าผิดปกติเมื่อ

$value < lower$ OR $value > upper$

ช่วงควอร์ไทล์ (IQR)

$lower = 25percentile-(1.5 * IQR)$

$upper = 75percentile+(1.5 * IQR)$

ถือเป็นค่าผิดปกติเมื่อ

$value < lower$ OR $value > upper$

การจัดการค่าผิดปกติ

ลบข้อมูลออก
การประมาณค่าทดแทน (Imputation)

Winsorizing

IF value < 5th percentile THEN value = 5th percentile

IF value > 95th percentile THEN value = 95th percentile

มาฝึกกันเถอะ!

การวิเคราะห์ข้อมูลเชิงสำรวจใน Power BI