Ajuste fino

Conceptos de grandes modelos lingüísticos (LLM)

Vidhi Chugh

AI strategist and ethicist

¿Dónde estamos?

Gráfico de progreso que muestra que hemos llegado a la fase de ajuste fino.

Conceptos de grandes modelos lingüísticos (LLM)

 

  • Preentrenamiento

Imagen que representa a niños en edad escolar como analogía previa al entrenamiento

          School education

 

  • Ajuste fino

Una imagen que representa a los estudiantes universitarios como una analogía de ajuste fino.

        University specialization
1 Freepik
Conceptos de grandes modelos lingüísticos (LLM)

Los retos de la «grandeza»

  • El ajuste fino puede ayudar
  • Ordenadores potentes
  • Métodos eficientes de entrenamiento de modelos
  • Grandes cantidades de datos de entrenamiento

Imagen que muestra la disponibilidad de datos, el tiempo de entrenamiento y la potencia de cálculo como retos para la creación de LLM

Conceptos de grandes modelos lingüísticos (LLM)

Potencia computacional

  • Memoria

  • Potencia de procesamiento

  • Infraestructura

  • Precio elevado

  • LLM:
    • 100 000 unidades centrales de procesamiento (CPU)
    • 10 000 unidades de procesamiento gráfico (GPU)
  • Un ordenador personal: 4-8 CPU y 1-2 GPU

Hombre trabajando en un ordenador conectado a un gran servidor.

1 Freepik
Conceptos de grandes modelos lingüísticos (LLM)

Entrenamiento eficiente de modelos

Ilustración que simboliza un modelo de aprendizaje profundo

  • El tiempo de entrenamiento es enorme.

 

  • Puede llevar semanas o incluso meses.

 

  • Entrenamiento eficiente de modelos = tiempo de entrenamiento más rápido

 

  • 355 años de tiempo de procesamiento en una sola GPU
Conceptos de grandes modelos lingüísticos (LLM)

Disponibilidad de datos

 

  • Necesidad de datos de alta calidad
  • Aprender las complejidades y sutilezas del lenguaje

  • Varios cientos de gigabytes (GB) de datos de texto

    • Más de un millón de libros

  • Gran cantidad de datos

  Dos pilas de carpetas rebosantes que simbolizan grandes cantidades de datos.

Conceptos de grandes modelos lingüísticos (LLM)

Superando los retos

  • Ajuste fino
    • Aborda algunos de estos retos.
    • Adapta un modelo preentrenado.

 

  • Modelo preentrenado
    • Aprendido a partir de conjuntos de datos de uso general.
    • No optimizado para tareas específicas.
    • Se puede ajustar con precisión para un problema específico.

Personas trabajando en un ordenador portátil de gran tamaño con herramientas y engranajes que simbolizan el ajuste preciso.

Conceptos de grandes modelos lingüísticos (LLM)

Ajuste fino frente a Preentrenamiento

  • Ajuste fino

  • Computación

    • 1-2 CPU y GPU

 

  • Tiempo de entrenamiento
    • De horas a días

 

  • Datos
    • ~1 gigabyte

  • Formación previa

  • Computación

    • Miles de CPU y GPU

 

  • Tiempo de entrenamiento
    • De semanas a meses

 

  • Datos
    • Cientos de gigabytes
Conceptos de grandes modelos lingüísticos (LLM)

¡Vamos a practicar!

Conceptos de grandes modelos lingüísticos (LLM)

Preparing Video For Download...