Die Entwicklung generativer KI

Konzeptuelle Einführung in generative KI

Daniel Tedesco

Data Lead, Google

Generative KI tritt 2023 auf den Plan

Eine Grafik, die zeigt, wie viele Monate verschiedene Softwareprodukte gebraucht haben, um 100 Millionen monatliche Nutzende zu erreichen. ChatGPT ist der Spitzenreiter und brauchte nur 2 Monate

1 Yahoo Finance
Konzeptuelle Einführung in generative KI

Wichtige Faktoren für die Entwicklung

Mehrere Faktoren treiben die Entwicklung generativer KI voran:

  • Rechenleistung
  • Verfügbarkeit von Datensätzen
  • Wettbewerbsinteressen
  • Modell-Design
Konzeptuelle Einführung in generative KI

Rechenleistung ermöglicht große Modelle

Ein Diagramm, das den exponentiellen Anstieg der für das Training von KI-Modellen benötigten Rechenleistung von weniger als 10^4 Fließkommaoperationen im Jahr 1950 auf 10^24 Fließkommaoperationen im Jahr 2022 zeigt.

 

  • Parallelisierung und besondere Hardware
    • Graphics Processing Units (GPUs)
    • Tensor Processing Units (TPUs)
  • Cloud Computing
  • Hardware-/Software-Optimierung
1 Rechentrends über drei Machine-Learning-Epochen hinweg, https://arxiv.org/abs/2202.05924
Konzeptuelle Einführung in generative KI

Verbesserte Modelle mit riesigen Datensätzen

Wachstum Global DataSphere Ein Diagramm, das das beschleunigte Wachstum von Global DataSphere zeigt, von 20 Zettabytes im Jahr 2015 auf 180 Zettabytes im Jahr 2025

1 Global DataSphere 2021 von IDC
Konzeptuelle Einführung in generative KI

Wettbewerbsdruck fördert eine schnellere Entwicklung

Kommerziell Logos der großen Technologieunternehmen

Politisch Viele verschiedene internationale Flaggen

Konzeptuelle Einführung in generative KI

GAN sorgen sprunghaft für bessere Ergebnisse

Ein Bild, in dem ein Generator-Algorithmus einen Diskriminator-Algorithmus herausfordert, mehrere verwirrende Bilder von zusammengerollten Welpen, die wie Bagels aussehen, zu klassifizieren

Konzeptuelle Einführung in generative KI

Transformatoren sorgen für Kontext und Kohärenz

„it“ bezieht sich auf „animal“.

Der Satz: „The animal didn't cross the street because it was too tired.“ Die Wörter "it" und "animal" sind hervorgehoben

„it“ bezieht sich auf „street“.

Der Satz: „The animal didn't cross the street because it was too wide.“ Die Wörter "it" und "street" sind hervorgehoben

1 https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
Konzeptuelle Einführung in generative KI

Transformatoren sorgen für Kontext und Kohärenz

 

Transformatoren:

  • Begreifen den Kontext eines gegebenen Textes
  • Analysieren die Beziehungen zwischen Wörtern
  • Erzeugen Antworten, die natürlich und informativ wirken
Konzeptuelle Einführung in generative KI

RLHF mit Feedback von Nutzenden

Reinforcement Learning with Human Feedback (RLHF):

  • Reinforcement Learning trainiert Modelle durch Versuch und Irrtum
  • Menschliches Feedback kommt von Nutzenden, die Antworten der Modelle bewerten

Flussdiagramm einer generativen KI, mit einer zusätzlichen Schleife: Reaktion auf Feedback an das Modell

Konzeptuelle Einführung in generative KI

RLHF mit Feedback von Nutzenden

Ein Screenshot der Midjourney-Benutzeroberfläche mit Optionen zur Bewertung eines Bildergebnisses

1 Midjourney
Konzeptuelle Einführung in generative KI

Lass uns üben!

Konzeptuelle Einführung in generative KI

Preparing Video For Download...