Model GPT dan pelatihan LLM

ChatGPT Tingkat Menengah

Alex Banks

Founder & Educator

Asal-usul GPT

Gambar menampilkan pria terkejut di kiri, melihat tiga batang ungu yang makin tinggi berlabel GPT-1, GPT-2, dan GPT-3 dari kiri ke kanan, mewakili pertumbuhan ukuran tiap versi

ChatGPT Tingkat Menengah

Asal-usul GPT

  Ilustrasi menunjukkan pria berdiri menghadap bentuk oval, mewakili neuron

ChatGPT Tingkat Menengah

Memecah istilah GPT

Ilustrasi menunjukkan pria bingung dengan tanda tanya di atas kepala. Di kanannya, teks 'Generative Pre-trained Transformer' ditampilkan, dengan panah ke 'GPT' yang dicetak tebal dan digarisbawahi

ChatGPT Tingkat Menengah

 

Ilustrasi menunjukkan pria menulis di buku catatan dengan pensil. Di kirinya, kata 'Generative' ditampilkan

ChatGPT Tingkat Menengah

 

  Ilustrasi pria berlari dengan buku dan perangkat elektronik mengikutinya, dengan kata 'Pre-trained' di kanan

ChatGPT Tingkat Menengah

  Ilustrasi seorang pria berubah dari satu keadaan ke keadaan lain, dengan kata 'Transformer' di atasnya

ChatGPT Tingkat Menengah

 

Ilustrasi seorang pria duduk dengan laptop, di samping logo ChatGPT

ChatGPT Tingkat Menengah

Bagaimana melatih LLM?

  Ilustrasi seorang wanita membaca buku di samping robot besar, keduanya melihat buku

ChatGPT Tingkat Menengah

Langkah 1 - Pra-pelatihan

Jumlah besar data internet berkualitas rendah Ilustrasi seorang wanita memegang clipboard, dengan bagan dan tabel yang merinci proses pra-pelatihan dan data model GPT

ChatGPT Tingkat Menengah

Langkah 2 - Fine-tuning

Jumlah kecil data percakapan berkualitas tinggi Ilustrasi seorang wanita berdiri di samping robot, dan contoh data percakapan

ChatGPT Tingkat Menengah

Langkah 3 - RLHF

RLHF = Reinforcement Learning from Human Feedback

Ilustrasi dua wanita memegang kartu tanda tanya, dengan gelembung pikiran bertuliskan 'Opsi A' dan 'Opsi B'

ChatGPT Tingkat Menengah

Peran AI dalam membuat label perbandingan

Ilustrasi wanita mengacungkan jempol di samping robot, dengan tiga haiku tentang AI pada layar. Wanita dan robot masing-masing punya gelembung pikiran bertuliskan 'Yang ini!'

ChatGPT Tingkat Menengah

Peran AI dalam membuat label perbandingan

Pelabelan adalah kolaborasi manusia-mesin

 

Ilustrasi menampilkan ikon orang dan robot dihubungkan oleh penggeser, dengan wanita dan robot besar berdiri harmonis di sampingnya

ChatGPT Tingkat Menengah

Ayo berlatih!

ChatGPT Tingkat Menengah

Preparing Video For Download...