การทดสอบ
แนวคิด LLMOps
Max Knobbout, PhD
Applied Scientist, Uber
วงจรชีวิต LLM: การทดสอบ
ทำไมต้องทดสอบ?
การทดสอบ ML แบบดั้งเดิมเทียบกับแอปพลิเคชัน LLM
Machine learning แบบมีผู้สอน (supervised) แบบดั้งเดิม:
- ต้องการข้อมูล train และ test ที่มีป้ายกำกับ
- เมตริกที่เน้นความแม่นยำหรือความใกล้เคียงกับเป้าหมาย
แอปพลิเคชัน LLM:
- ต้องการข้อมูล test โดยไม่จำเป็นต้องมีป้ายกำกับ
- วัดคุณภาพของผลลัพธ์ด้วยเมตริก หลากหลายประเภท
ขั้นตอนที่ 1: สร้างชุดข้อมูล test
ขั้นตอนที่ 2: เลือกเมตริก
ขั้นตอนที่ 2: เลือกเมตริก
ขั้นตอนที่ 2: เลือกเมตริก
ขั้นตอนที่ 2: เลือกเมตริก
วงจรการพัฒนา
วงจรการพัฒนา
วงจรการพัฒนา
วงจรการพัฒนา
