L’evoluzione dell’IA generativa

Concetti di IA generativa

Daniel Tedesco

Data Lead, Google

L’IA generativa esplode nel 2023

Un grafico mostra i mesi impiegati da vari software per raggiungere 100 milioni di utenti mensili. ChatGPT è in testa con solo 2 mesi.

1 Yahoo Finance
Concetti di IA generativa

Fattori chiave che guidano lo sviluppo

Vari fattori spingono lo sviluppo dell’IA generativa:

  • Potenza di calcolo
  • Disponibilità di dataset
  • Interessi competitivi
  • Progettazione dei modelli
Concetti di IA generativa

La potenza di calcolo ha reso possibili grandi modelli

Un grafico mostra la crescita esponenziale della potenza di calcolo richiesta per addestrare modelli di IA: da meno di 10^4 operazioni in virgola mobile nel 1950 a 10^24 nel 2022.

 

  • Parallelizzazione e hardware specializzato
    • Graphics Processing Units (GPU)
    • Tensor Processing Units (TPU)
  • Cloud computing
  • Ottimizzazione hardware-software
1 Compute Trends Across Three Eras of Machine Learning, https://arxiv.org/abs/2202.05924
Concetti di IA generativa

Modelli migliorati con dataset enormi

Crescita del Global Datasphere Un grafico mostra la crescita accelerata del datasphere globale: da 20 zettabyte nel 2015 a 180 zettabyte nel 2025.

1 IDC's Global DataSphere, 2021
Concetti di IA generativa

La competizione ha accelerato lo sviluppo

Commerciali Loghi di grandi aziende tecnologiche

Politici Molte bandiere internazionali diverse

Concetti di IA generativa

Le GAN hanno sbloccato generazioni di alta qualità

Un’immagine di un algoritmo generatore che sfida un discriminatore a classificare varie foto ambigue di cuccioli arrotolati che sembrano bagel

Concetti di IA generativa

I Transformer portano contesto e coerenza

“it” si riferisce a “animal”

La frase: "The animal didn't cross the street because it was too tired." Le parole 'it' e 'animal' sono evidenziate.

“it” si riferisce a “street”

La frase: "The animal didn't cross the street because it was too wide." Le parole 'it' e 'street' sono evidenziate.

1 https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
Concetti di IA generativa

I Transformer portano contesto e coerenza

 

I Transformer:

  • Colgono il contesto di un testo
  • Analizzano le relazioni tra parole
  • Generano risposte naturali e informative
Concetti di IA generativa

RLHF: coinvolgere il feedback degli utenti

Reinforcement Learning with Human Feedback (RLHF):

  • Il reinforcement learning addestra con tentativi ed errori
  • Il feedback umano deriva dai voti degli utenti alle risposte del modello

Un flusso di IA generativa con un ciclo aggiuntivo: risposta → feedback → modello.

Concetti di IA generativa

RLHF: coinvolgere il feedback degli utenti

Schermata dell’interfaccia di Midjourney con opzioni per valutare un’immagine.

1 Midjourney
Concetti di IA generativa

Passiamo alla pratica!

Concetti di IA generativa

Preparing Video For Download...