Evolusi AI generatif

Konsep Generative AI

Daniel Tedesco

Data Lead, Google

AI generatif melejit pada 2023

Bagan yang menunjukkan jumlah bulan yang dibutuhkan berbagai produk perangkat lunak untuk mencapai 100 juta pengguna bulanan. ChatGPT terdepan, hanya 2 bulan.

¹ Yahoo Finance

Faktor kunci pendorong pengembangan

Beberapa faktor mendorong pengembangan AI generatif:

Daya komputasi
Ketersediaan dataset
Kepentingan kompetitif
Desain model

Daya komputasi memungkinkan model besar

Bagan yang menunjukkan pertumbuhan eksponensial daya komputasi untuk pelatihan model AI dari kurang dari 10^4 operasi floating point pada 1950 hingga 10^24 pada 2022.

Paralelisasi dan perangkat keras khusus
- Graphics Processing Units (GPUs)
- Tensor Processing Units (TPUs)
Komputasi awan
Optimisasi perangkat keras-perangkat lunak

¹ Compute Trends Across Three Eras of Machine Learning, https://arxiv.org/abs/2202.05924

Model membaik dengan dataset masif

Pertumbuhan Global Datasphere Bagan yang menunjukkan percepatan pertumbuhan datasphere global, dari 20 zettabyte pada 2015 menjadi 180 zettabyte pada 2025.

¹ IDC's Global DataSphere, 2021

Tekanan kompetitif mendorong pengembangan lebih cepat

Komersial Logo perusahaan teknologi besar

Politik Banyak bendera internasional yang berbeda

GAN menghadirkan generasi berkualitas tinggi

Gambar algoritme generator menantang algoritme discriminator untuk mengklasifikasi beberapa gambar anak anjing yang mirip bagel

Transformer menghadirkan konteks dan koherensi

'it' mengacu pada 'animal'

Kalimat, "The animal didn't cross the street because it was too tired." Kata 'it' dan 'animal' disorot.

'it' mengacu pada 'street'

Kalimat, "The animal didn't cross the street because it was too wide." Kata 'it' dan 'street' disorot.

¹ https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html

Transformer menghadirkan konteks dan koherensi

Transformer:

Memahami konteks teks
Menganalisis relasi antarkata
Menghasilkan respons yang alami dan informatif

RLHF melibatkan umpan balik pengguna

Reinforcement Learning with Human Feedback (RLHF):

Reinforcement learning melatih model lewat coba-coba
Umpan balik manusia dari penilaian respons model

Alur AI generatif, dengan loop tambahan: respons ke umpan balik ke model.

RLHF melibatkan umpan balik pengguna

Cuplikan antarmuka Midjourney dengan opsi untuk memberi rating hasil gambar.

¹ Midjourney

Ayo berlatih!

Konsep Generative AI

Preparing Video For Download...