La evolución de la IA generativa

Conceptos de la IA generativa

Daniel Tedesco

Data Lead, Google

La IA generativa irrumpió con fuerza en 2023.

Un gráfico que muestra el número de meses que tardaron diversos productos de software en alcanzar los 100 millones de usuarios mensuales. ChatGPT es el líder, en solo 2 meses.

1 Yahoo Finanzas
Conceptos de la IA generativa

Factores clave que impulsan el desarrollo

Hay varios factores que impulsan el desarrollo de la IA generativa:

  • Potencia informática
  • Disponibilidad del conjunto de datos
  • Intereses competitivos
  • Diseño del modelo
Conceptos de la IA generativa

La potencia computacional permitió crear modelos de gran tamaño

Gráfico que muestra el crecimiento exponencial de la potencia informática necesaria para el entrenamiento de modelos de IA, desde menos de 10^4 operaciones de coma flotante en 1950 hasta 10^24 operaciones de coma flotante en 2022.

 

  • Paralelización y hardware especializado
    • Unidades de procesamiento gráfico (GPU)
    • Unidades de procesamiento tensorial (TPU)
  • Computación en la nube
  • Optimización de hardware y software
1 Tendencias informáticas en tres épocas del machine learning, https://arxiv.org/abs/2202.05924
Conceptos de la IA generativa

Modelos mejorados con conjuntos de datos masivos

Crecimiento global de la esfera de datos Un gráfico que muestra el crecimiento acelerado de la esfera de datos global, desde 20 zettabytes en 2015 hasta 180 zettabytes en 2025.

1 Global DataSphere de IDC, 2021
Conceptos de la IA generativa

Las presiones competitivas fomentaron un desarrollo más rápido.

Comercial Logotipos de las principales empresas tecnológicas

Política Muchas banderas internacionales diferentes

Conceptos de la IA generativa

Las GAN han dado rienda suelta a la generación de alta calidad

Imagen de un algoritmo generador que desafía a un algoritmo discriminador a clasificar varias imágenes confusas de cachorros acurrucados y parecidos a bagels

Conceptos de la IA generativa

Los transformadores aportaron contexto y coherencia

«estaba» se refiere a «animal».

La frase: «El animal no cruzó la calle porque estaba demasiado cansado». Las palabras «estaba» y «animal» están resaltadas.

«era» se refiere a «calle»

La frase «El animal no cruzó la calle porque era demasiado ancha». Las palabras «era» y «calle» están resaltadas.

1 https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
Conceptos de la IA generativa

Los transformadores aportaron contexto y coherencia

 

Transformadores:

  • Comprenden el contexto de un texto dado
  • Analizan las relaciones entre palabras
  • Generan respuestas que suenen naturales e informativas
Conceptos de la IA generativa

RLHF recabó comentarios de los usuarios

Aprendizaje por refuerzo con retroalimentación humana (RLHF):

  • El aprendizaje por refuerzo entrena modelos a través del ensayo y error
  • La retroalimentación humana proviene de los usuarios que evalúan las respuestas del modelo

Un flujo de IA generativa, con un bucle adicional:  respuesta a la retroalimentación al modelo.

Conceptos de la IA generativa

RLHF recabó comentarios de los usuarios

Captura de pantalla de la interfaz de usuario de Midjourney con opciones para valorar el resultado de una imagen.

1 Midjourney
Conceptos de la IA generativa

¡Vamos a practicar!

Conceptos de la IA generativa

Preparing Video For Download...