Treinamento de modelos

Conceitos de IA Generativa

Daniel Tedesco

Data Lead, Google

Escolha seu meio de trein-sporte

Imagem de um avião e um carro.

Equipamentos
Tempo
- Tamanho do conjunto de dados
- Complexidade do modelo
- Rodadas de treinamento
Custo

Técnicas avançadas

Um modelo básico de IA generativa é o primeiro passo
Com técnicas avançadas, eles se especializam em contextos específicos

Principais técnicas avançadas:

Aprendizado por transferência e ajuste fino
RLHF
Incorporações personalizadas

Imagem de alunos na formatura

De gatos a leões

O aprendizado por transferência repassa conhecimentos de uma tarefa para outra
O ajuste fino é um tipo de aprendizado por transferência para um pequeno conjunto de dados

Modelo aprendendo com imagens de leões, dizendo “Também tem pelos, quatro patas... Entendi!” e, então, produzindo a imagem de um leão

¹ Creative Commons Attribution-Share Alike 4.0, Criador de Imagens do Bing

Para onde vai seu feedback?

Imagem da interface do chat Google Bard com as opções de feedback “polegar para cima” e “polegar para baixo” em destaque

¹ Google Bard, 2023

Polegar para cima = melhores respostas

Várias respostas de texto avaliadas com polegar para cima ou para baixo são enviadas para um robô que diz: “Ok, agora já sei que tipo de respostas os humanos gostam”

¹ Google Bard, 2023

Incorporações (embeddings) como impressões digitais

Semelhantes a uma impressão digital
Representações únicas de entidades de dados
Captam o significado, o contexto e as relações de forma compacta

Uma série de impressões digitais

¹ Wikimedia Commons

Incorporando Dan

Várias fotos de Daniel Tedesco sendo enviadas para uma IA generativa

¹ Daniel Tedesco, 2023

Dan incorporado

Modelo produzindo várias fotos estilizadas do rosto de Daniel Tedesco

¹ Fotos do Daniel Tedesco de vana.com

Vamos praticar!

Conceitos de IA Generativa