ไลบรารีสำหรับ Fine-tuning Llama

Fine-Tuning กับ Llama 3

Francesca Donadoni

Curriculum Manager, DataCamp

เมื่อใดควรใช้ Fine-tuning

  • โมเดลที่ผ่านการ Pre-train มาแล้ว
  • ใช้ข้อมูลเฉพาะทาง

AI Engineer กำลังดูการแสดงผลของพารามิเตอร์โมเดล

  • เพิ่มความแม่นยำ
  • ลด Bias
  • เพิ่มพูนฐานความรู้
Fine-Tuning กับ Llama 3

วิธีใช้ Fine-tuning

  • คุณภาพของข้อมูล
  • ความสามารถของโมเดล
  • นิยามของงาน

 

  • กระบวนการ Fine-tuning

วงจรการเทรน: การเทรนสร้างโมเดลที่ผ่าน Fine-tuning แล้ว จากนั้นประเมินผลด้วยโมเดลนั้นและชุดข้อมูลประเมินผล

Fine-Tuning กับ Llama 3

วิธีใช้ Fine-tuning

  • คุณภาพของข้อมูล
  • ความสามารถของโมเดล
  • นิยามของงาน

 

  • กระบวนการ Fine-tuning

วงจรการเทรน: ใช้ชุดข้อมูลเทรนเพื่อเริ่มการเทรน ซึ่งสร้างโมเดลที่ผ่าน Fine-tuning แล้ว จากนั้นประเมินผลด้วยโมเดลนั้นและชุดข้อมูลประเมินผล

Fine-Tuning กับ Llama 3

วิธีใช้ Fine-tuning

  • คุณภาพของข้อมูล
  • ความสามารถของโมเดล
  • นิยามของงาน

 

  • กระบวนการ Fine-tuning

วงจรการเทรน: ใช้ชุดข้อมูลเทรน โมเดล และ Tokenizer เพื่อเริ่มการเทรน ซึ่งสร้างโมเดลที่ผ่าน Fine-tuning แล้ว จากนั้นประเมินผลด้วยโมเดลนั้นและชุดข้อมูลประเมินผล

Fine-Tuning กับ Llama 3

วิธีใช้ Fine-tuning

  • คุณภาพของข้อมูล
  • ความสามารถของโมเดล
  • นิยามของงาน

 

  • กระบวนการ Fine-tuning

วงจรการเทรน: ใช้ชุดข้อมูลเทรน อาร์กิวเมนต์ โมเดล และ Tokenizer เพื่อเริ่มการเทรน ซึ่งสร้างโมเดลที่ผ่าน Fine-tuning แล้ว จากนั้นประเมินผลด้วยโมเดลนั้นและชุดข้อมูลประเมินผล

Fine-Tuning กับ Llama 3

วิธีใช้ Fine-tuning

  • คุณภาพของข้อมูล
  • ความสามารถของโมเดล
  • นิยามของงาน

 

  • กระบวนการ Fine-tuning
  • โมเดลใหม่
  • การประเมินผล

วงจรการเทรน: ใช้ชุดข้อมูลเทรน อาร์กิวเมนต์ โมเดล Tokenizer และคลาส Fine-tuning เพื่อเริ่มการเทรน ซึ่งสร้างโมเดลที่ผ่าน Fine-tuning แล้ว จากนั้นประเมินผลด้วยโมเดลนั้นและชุดข้อมูลประเมินผล

Fine-Tuning กับ Llama 3

ไลบรารีสำหรับ Fine-tuning Llama

 

  • 📚 ไลบรารีสำหรับ Fine-tuning มีหลายตัว

 

  • 🦙 TorchTune สำหรับ Fine-tuning Llama

 

  • 🚀 การเริ่มงาน Fine-tuning ด้วย TorchTune
Fine-Tuning กับ Llama 3

ตัวเลือกสำหรับ Fine-tuning Llama

  • TorchTune
    • ใช้เทมเพลตที่กำหนดค่าได้
    • เหมาะสำหรับ: ขยายขนาดได้รวดเร็ว

ไอคอนนาฬิกาแทนการทดลองอย่างรวดเร็ว

  • SFTTrainer จาก Hugging Face
    • เข้าถึง LLM อื่นๆ ได้
    • เหมาะสำหรับ: Fine-tuning หลายโมเดล

ไอคอนแทนหลายโมเดล

  • Unsloth
    • ใช้หน่วยความจำอย่างมีประสิทธิภาพ
    • เหมาะสำหรับ: ฮาร์ดแวร์ที่มีจำกัด

ไอคอนแทนฮาร์ดแวร์ CPU

  • Axolotl
    • แนวทางแบบ Modular
    • เหมาะสำหรับ: ไม่ต้องกำหนดค่าใหม่มาก

ไอคอนเฟืองและมือแทนการกำหนดค่า

Fine-Tuning กับ Llama 3

TorchTune และ Recipe สำหรับ Fine-tuning

 

 

  • TorchTune recipes:

    • เทมเพลตแบบ Modular
    • กำหนดค่าให้เหมาะกับโปรเจกต์ต่างๆ ได้
    • จัดระเบียบโค้ดได้ชัดเจน
    • รับประกันการ Reproduce ผลลัพธ์ได้

ภาพประกอบการทำซุปเพื่ออธิบายแนวคิดของ Recipe

Fine-Tuning กับ Llama 3

TorchTune List

 

  • รันจาก Terminal
  • Environment ที่มี Python
  • ติดตั้ง TorchTune
    pip3 install torchtune

  • ดูรายการ Recipe ที่มี

    tune ls

  • ! หากใช้ IPython

    !tune ls
Fine-Tuning กับ Llama 3

TorchTune List

!tune ls
  • ผลลัพธ์:
RECIPE                                   CONFIG                                  
full_finetune_single_device              llama3/8B_full_single_device            
                                         llama3_1/8B_full_single_device          
                                         llama3_2/1B_full_single_device          
                                         llama3_2/3B_full_single_device       
full_finetune_distributed                llama3/8B_full                          
                                         llama3_1/8B_full                        
                                         llama3_2/1B_full                          
                                         ...
Fine-Tuning กับ Llama 3

TorchTune Run

 

  • ใช้ Recipe + --config + ค่ากำหนด

  • รัน Fine-tuning

    tune run full_finetune_single_device --config \
llama3_1/8B_lora_single_device

  • พารามิเตอร์ device=cpu หรือ device=cuda

  • epochs=<int> (<int> คือ 0 หรือจำนวนเต็มบวก)
Fine-Tuning กับ Llama 3

มาฝึกกันเถอะ!

Fine-Tuning กับ Llama 3

Preparing Video For Download...