Fine-tuning

Konsep Large Language Models (LLM)

Vidhi Chugh

AI strategist and ethicist

Kita berada di mana?

Bagan kemajuan menunjukkan kita telah mencapai tahap fine-tuning

Konsep Large Language Models (LLM)

 

  • Pra-pelatihan

Gambar yang merepresentasikan anak sekolah sebagai analogi pra-pelatihan

          Pendidikan sekolah

 

  • Fine-tuning

Gambar yang merepresentasikan mahasiswa sebagai analogi fine-tuning

        Spesialisasi di universitas
1 Freepik
Konsep Large Language Models (LLM)

Tantangan “kebesaran”

  • Fine-tuning dapat membantu
  • Komputer bertenaga
  • Metode pelatihan yang efisien
  • Data pelatihan dalam jumlah besar

Gambar yang menunjukkan ketersediaan data, waktu pelatihan, dan daya komputasi sebagai tantangan membangun LLM

Konsep Large Language Models (LLM)

Daya komputasi

  • Memori

  • Daya pemrosesan

  • Infrastruktur

  • Mahal

  • LLM:
    • Ratusan ribu Central Processing Unit (CPU)
    • Puluhan ribu Graphic Processing Unit (GPU)
  • Komputer pribadi: 4–8 CPU dan 1–2 GPU

Pria bekerja di komputer yang terhubung ke server besar

1 Freepik
Konsep Large Language Models (LLM)

Pelatihan model yang efisien

Ilustrasi yang melambangkan model deep learning

  • Waktu pelatihan sangat besar

 

  • Dapat memakan waktu berminggu hingga berbulan

 

  • Pelatihan efisien = waktu latih lebih cepat

 

  • 355 tahun waktu proses pada satu GPU
Konsep Large Language Models (LLM)

Ketersediaan data

 

  • Butuh data berkualitas tinggi
  • Untuk mempelajari kompleksitas dan nuansa bahasa

  • Ratusan gigabyte (GB) data teks

    • Lebih dari sejuta buku

  • Data dalam jumlah masif

  Dua tumpukan map meluap melambangkan data besar

Konsep Large Language Models (LLM)

Mengatasi tantangan

  • Fine-tuning
    • Mengatasi sebagian tantangan ini
    • Mengadaptasi model pra-latih

 

  • Model pra-latih
    • Belajar dari dataset tujuan umum
    • Tidak dioptimalkan untuk tugas spesifik
    • Dapat di-fine-tune untuk masalah tertentu

Orang bekerja di laptop raksasa dengan alat dan roda gigi untuk melambangkan fine-tuning

Konsep Large Language Models (LLM)

Fine-tuning vs. Pra-pelatihan

  • Fine-tuning

  • Komputasi

    • 1–2 CPU dan GPU

 

  • Waktu pelatihan
    • Jam hingga hari

 

  • Data
    • ~1 gigabyte

  • Pra-pelatihan

  • Komputasi

    • Ribuan CPU dan GPU

 

  • Waktu pelatihan
    • Minggu hingga bulan

 

  • Data
    • Ratusan gigabyte
Konsep Large Language Models (LLM)

Ayo berlatih!

Konsep Large Language Models (LLM)

Preparing Video For Download...