De evolutie van generatieve AI

Generatieve AI-concepten

Daniel Tedesco

Data Lead, Google

Generatieve AI brak door in 2023

Een grafiek met het aantal maanden dat verschillende softwareproducten nodig hadden om 100 miljoen maandelijkse gebruikers te bereiken. ChatGPT is de snelste: 2 maanden.

1 Yahoo Finance
Generatieve AI-concepten

Belangrijkste drijfveren van de ontwikkeling

Verschillende factoren sturen de ontwikkeling van generatieve AI:

  • Rekenkracht
  • Dataset-beschikbaarheid
  • Concurrentiebelangen
  • Modelontwerp
Generatieve AI-concepten

Rekenkracht maakte grote modellen mogelijk

Een grafiek met exponentiële groei van de rekenkracht voor AI-training: van minder dan 10^4 floating point-bewerkingen in 1950 tot 10^24 in 2022.

 

  • Parallelisatie en gespecialiseerde hardware
    • Graphics Processing Units (GPU's)
    • Tensor Processing Units (TPU's)
  • Cloudcomputing
  • Hardware-software-optimalisatie
1 Compute Trends Across Three Eras of Machine Learning, https://arxiv.org/abs/2202.05924
Generatieve AI-concepten

Modellen verbeterd met enorme datasets

Groei van de Global Datasphere Een grafiek met versnellende groei van de global datasphere, van 20 zettabyte in 2015 tot 180 zettabyte in 2025.

1 IDC's Global DataSphere, 2021
Generatieve AI-concepten

Concurrentiedruk versnelde ontwikkeling

Commercieel Logo's van grote technologiebedrijven

Politiek Veel verschillende internationale vlaggen

Generatieve AI-concepten

GAN's zorgden voor hoge kwaliteit generatie

Een afbeelding van een generator-algoritme dat een discriminator uitdaagt om meerdere verwarrende foto's te classificeren van puppy's die op bagels lijken

Generatieve AI-concepten

Transformers brachten context en samenhang

'it' verwijst naar 'animal'

De zin: "The animal didn't cross the street because it was too tired." De woorden 'it' en 'animal' zijn gemarkeerd.

'it' verwijst naar 'street'

De zin: "The animal didn't cross the street because it was too wide." De woorden 'it' en 'street' zijn gemarkeerd.

1 https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
Generatieve AI-concepten

Transformers brachten context en samenhang

 

Transformers:

  • Begrijpen de context van tekst
  • Analyseren relaties tussen woorden
  • Genereren natuurlijke, informatieve antwoorden
Generatieve AI-concepten

RLHF betrok gebruikersfeedback

Reinforcement Learning with Human Feedback (RLHF):

  • Reinforcement learning traint modellen via trial-and-error
  • Menselijke feedback komt van gebruikers die reacties scoren

Een generatieve AI-stroom met een extra lus: reactie naar feedback naar model.

Generatieve AI-concepten

RLHF betrok gebruikersfeedback

Een screenshot van de Midjourney-interface met opties om een beeldresultaat te beoordelen.

1 Midjourney
Generatieve AI-concepten

Laten we oefenen!

Generatieve AI-concepten

Preparing Video For Download...