Vývoj generativní AI

Generative AI Concepts

Daniel Tedesco

Data Lead, Google

Generativní AI se v roce 2023 prosadila na scéně

Graf znázorňující počet měsíců, které různé softwarové produkty potřebovaly k dosažení 100 milionů měsíčních uživatelů. ChatGPT je na prvním místě – dosáhl tohoto cíle za pouhé 2 měsíce.

1 Yahoo Finance
Generative AI Concepts

Klíčové faktory vývoje

Vývoj generativní AI ovlivňuje několik faktorů:

  • Výpočetní výkon
  • Dostupnost datových sad
  • Konkurenční zájmy
  • Návrh modelů
Generative AI Concepts

Výpočetní výkon umožnil tvorbu velkých modelů

Graf znázorňující exponenciální růst výpočetního výkonu potřebného pro trénování modelů AI – od méně než 10^4 operací s plovoucí desetinnou čárkou v roce 1950 na 10^24 operací v roce 2022.

 

  • Paralelizace a specializovaný hardware
    • Grafické procesory (GPU)
    • Tenzorové procesory (TPU)
  • Cloud computing
  • Optimalizace hardwaru a softwaru
1 Compute Trends Across Three Eras of Machine Learning, https://arxiv.org/abs/2202.05924
Generative AI Concepts

Modely se zlepšovaly díky rozsáhlým datovým sadám

Růst globální datasféry Graf znázorňující rychlý růst globální datasféry, od 20 zettabajtů v roce 2015 na 180 zettabajtů v roce 2025.

1 IDC's Global DataSphere, 2021
Generative AI Concepts

Konkurenční tlaky urychlily vývoj

Komerční Loga velkých technologických společností

Politické Různé mezinárodní vlajky

Generative AI Concepts

GAN umožnily vysoce kvalitní generování

Obrázek generátorového algoritmu, který vyzývá diskriminátorový algoritmus, aby klasifikoval matoucí fotografie štěňat, jež vypadají podobně jako bagely

Generative AI Concepts

Transformery přinesly kontext a koherenci

„it" odkazuje na „animal"

Věta „The animal didn't cross the street because it was too tired." Slova „it" a „animal" jsou zvýrazněna.

„it" odkazuje na „street"

Věta „The animal didn't cross the street because it was too wide." Slova „it" a „street" jsou zvýrazněna.

1 https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
Generative AI Concepts

Transformery přinesly kontext a koherenci

 

Transformery:

  • Chápou kontext daného textu
  • Analyzují vztahy mezi slovy
  • Generují přirozené a informativní odpovědi
Generative AI Concepts

RLHF zapojilo zpětnou vazbu uživatelů

Zpětnovazební učení s lidskou zpětnou vazbou (RLHF):

  • Zpětnovazební učení trénuje modely metodou pokus–omyl
  • Lidská zpětná vazba pochází od uživatelů hodnotících odpovědi modelu

Tok generativní AI s přidanou smyčkou: odpověď – zpětná vazba – model.

Generative AI Concepts

RLHF zapojilo zpětnou vazbu uživatelů

Snímek obrazovky uživatelského rozhraní Midjourney s možnostmi hodnocení výsledného obrázku.

1 Midjourney
Generative AI Concepts

Pojďme si procvičit!

Generative AI Concepts

Preparing Video For Download...