Tokenisasi dan Transformer

ChatGPT Tingkat Menengah

Alex Banks

Founder & Educator

Tokenisasi

Ilustrasi pria melihat karakter mirip Transformer, membayangkan kata "Tokens"

Tokenisasi

Ilustrasi pria mirip tokoh film Terminator

Enkoding

Ilustrasi pria mirip tokoh film Terminator

Vektorisasi

Ilustrasi pria mirip tokoh film Terminator

Dekoding

Ilustrasi pria mirip tokoh film Terminator

Self-attention

Karakter robot mirip Transformer di samping timbangan

Self-attention

Ilustrasi kucing duduk di atas tikar

Relasi token

Gambar menampilkan dua robot berwarna-warni di dalam hati merah muda besar dengan hati kecil di sekitarnya. Robot kiri berlabel "it" dan robot kanan berlabel "the cat." Di kiri hati, tiga potongan teks ditampilkan vertikal: "the cat," "sat," dan "the cat," semuanya berwarna biru

Pemahaman kontekstual

Gambar menunjukkan dua robot berwarna duduk berdampingan, robot kanan berisyarat seolah berbicara.

Ayo berlatih!

ChatGPT Tingkat Menengah