Model GPT dan pelatihan LLM

ChatGPT Tingkat Menengah

Alex Banks

Founder & Educator

Asal-usul GPT

Gambar menampilkan pria terkejut di kiri, melihat tiga batang ungu yang makin tinggi berlabel GPT-1, GPT-2, dan GPT-3 dari kiri ke kanan, mewakili pertumbuhan ukuran tiap versi

Asal-usul GPT

Ilustrasi menunjukkan pria berdiri menghadap bentuk oval, mewakili neuron

Memecah istilah GPT

Ilustrasi menunjukkan pria bingung dengan tanda tanya di atas kepala. Di kanannya, teks 'Generative Pre-trained Transformer' ditampilkan, dengan panah ke 'GPT' yang dicetak tebal dan digarisbawahi

Ilustrasi menunjukkan pria menulis di buku catatan dengan pensil. Di kirinya, kata 'Generative' ditampilkan

Ilustrasi pria berlari dengan buku dan perangkat elektronik mengikutinya, dengan kata 'Pre-trained' di kanan

Ilustrasi seorang pria berubah dari satu keadaan ke keadaan lain, dengan kata 'Transformer' di atasnya

Ilustrasi seorang pria duduk dengan laptop, di samping logo ChatGPT

Bagaimana melatih LLM?

Ilustrasi seorang wanita membaca buku di samping robot besar, keduanya melihat buku

Langkah 1 - Pra-pelatihan

Jumlah besar data internet berkualitas rendah Ilustrasi seorang wanita memegang clipboard, dengan bagan dan tabel yang merinci proses pra-pelatihan dan data model GPT

Langkah 2 - Fine-tuning

Jumlah kecil data percakapan berkualitas tinggi Ilustrasi seorang wanita berdiri di samping robot, dan contoh data percakapan

Langkah 3 - RLHF

RLHF = Reinforcement Learning from Human Feedback

Ilustrasi dua wanita memegang kartu tanda tanya, dengan gelembung pikiran bertuliskan 'Opsi A' dan 'Opsi B'

Peran AI dalam membuat label perbandingan

Ilustrasi wanita mengacungkan jempol di samping robot, dengan tiga haiku tentang AI pada layar. Wanita dan robot masing-masing punya gelembung pikiran bertuliskan 'Yang ini!'

Peran AI dalam membuat label perbandingan

Pelabelan adalah kolaborasi manusia-mesin

Ilustrasi menampilkan ikon orang dan robot dihubungkan oleh penggeser, dengan wanita dan robot besar berdiri harmonis di sampingnya

Ayo berlatih!

ChatGPT Tingkat Menengah