Modelos GPT y entrenamiento de LLM

ChatGPT intermedio

Alex Banks

Founder & Educator

El origen de GPT

La imagen muestra a un hombre sorprendido a la izquierda mirando tres barras moradas de tamaño creciente etiquetadas GPT-1, GPT-2 y GPT-3 de izquierda a derecha, representando el aumento de tamaño de cada versión

El origen de GPT

Una ilustración muestra a un hombre de pie mirando una forma ovalada, que representa una neurona

Desglosando GPT

Una ilustración muestra a un hombre confundido con un signo de interrogación sobre la cabeza. A su derecha, aparece 'Generative Pre-trained Transformer', con una flecha hacia 'GPT' en negrita y subrayado

Una ilustración muestra a un hombre escribiendo en un cuaderno con un lápiz. A su izquierda, la palabra 'Generative'

Ilustración de un hombre corriendo con libros y dispositivos electrónicos detrás, con la palabra 'Pre-trained' a la derecha

Ilustración de un hombre transformándose de un estado a otro, con la palabra 'Transformer' arriba

Ilustración de un hombre con un portátil, junto al logotipo de ChatGPT

¿Cómo entrenamos LLM?

Ilustración de una mujer leyendo un libro junto a un gran robot; ambos miran el libro

Paso 1 - Preentrenamiento

Grandes cantidades de datos web de baja calidad Ilustración de una mujer con una tabla, con un gráfico y una tabla sobre el preentrenamiento y datos de modelos GPT

Paso 2 - Ajuste fino

Pocas cantidades de datos conversacionales de alta calidad Ilustración de una mujer junto a un robot y ejemplos de conversaciones

Paso 3 - RLHF

RLHF = Aprendizaje por refuerzo con retroalimentación humana

Ilustración de dos mujeres con tarjetas de interrogación, con 'Opción A' y 'Opción B' en globos de pensamiento

Papel de la IA al crear etiquetas de comparación

Ilustración de una mujer con el pulgar arriba junto a un robot, con tres haikus sobre IA en pantallas. Ambos piensan: '¡Este!'

Papel de la IA al crear etiquetas de comparación

El etiquetado es una colaboración humano-máquina

Ilustración con un icono de persona y uno de robot unidos por un control deslizante, con una mujer y un gran robot al lado en armonía

¡Vamos a practicar!

ChatGPT intermedio