Generativ AI:s utveckling

Koncept inom generativ AI

Daniel Tedesco

Data Lead, Google

Generativ AI slog igenom 2023

Ett diagram som visar hur många månader olika programvaruprodukter tog för att nå 100 miljoner månatliga användare. ChatGPT leder och tog bara 2 månader.

1 Yahoo Finance
Koncept inom generativ AI

Viktiga faktorer bakom utvecklingen

Flera faktorer driver utvecklingen av generativ AI:

  • Beräkningskraft
  • Tillgång till datamängder
  • Konkurrensintressen
  • Modelldesign
Koncept inom generativ AI

Beräkningskraften möjliggjorde stora modeller

Ett diagram som visar exponentiell tillväxt av beräkningskraft för AI-modellträning, från under 10^4 flyttalsoperationer 1950 till 10^24 flyttalsoperationer 2022.

 

  • Parallellisering och specialiserad hårdvara
    • Graphics Processing Units (GPUs)
    • Tensor Processing Units (TPUs)
  • Molntjänster
  • Optimering av hårdvara och mjukvara
1 Compute Trends Across Three Eras of Machine Learning, https://arxiv.org/abs/2202.05924
Koncept inom generativ AI

Stora datamängder förbättrade modellerna

Global datatillväxt Ett diagram som visar accelererande tillväxt av den globala datamängden, från 20 zettabyte 2015 till 180 zettabyte 2025.

1 IDC:s Global DataSphere, 2021
Koncept inom generativ AI

Konkurrenstrycket påskyndade utvecklingen

Kommersiellt Logotyper för stora teknikföretag

Politiskt Många olika internationella flaggor

Koncept inom generativ AI

GAN:er möjliggjorde högkvalitativ generering

En bild av en generatoralgoritm som utmanar en diskriminatoralgoritm att klassificera flera förvirrande bilder av valpar som ligger ihopkurade och liknar bagels

Koncept inom generativ AI

Transformers gav kontext och sammanhang

"it" syftar på "animal"

Meningen "The animal didn't cross the street because it was too tired." Orden 'it' och 'animal' är markerade.

"it" syftar på "street"

Meningen "The animal didn't cross the street because it was too wide." Orden 'it' och 'street' är markerade.

1 https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
Koncept inom generativ AI

Transformers gav kontext och sammanhang

 

Transformers:

  • Förstår kontexten i en given text
  • Analyserar relationer mellan ord
  • Genererar svar som känns naturliga och informativa
Koncept inom generativ AI

RLHF tog tillvara på användarfeedback

Reinforcement Learning with Human Feedback (RLHF):

  • Förstärkningsinlärning tränar modeller genom prov och fel
  • Mänsklig feedback kommer från användare som betygsätter modellsvar

Ett flöde för generativ AI med en extra loop: svar till feedback till modell.

Koncept inom generativ AI

RLHF tog tillvara på användarfeedback

En skärmbild av Midjourneys användargränssnitt med alternativ för att betygsätta ett bildresultat.

1 Midjourney
Koncept inom generativ AI

Nu kör vi en övning!

Koncept inom generativ AI

Preparing Video For Download...