A evolução da IA generativa

Conceitos de IA Generativa

Daniel Tedesco

Data Lead, Google

A IA generativa surgiu com tudo em 2023

Gráfico que mostra quantos meses diversos softwares levaram para chegar a 100 milhões de usuários por mês. O ChatGPT está na frente, levando apenas dois meses.

1 Yahoo Finance
Conceitos de IA Generativa

Principais fatores que promovem o desenvolvimento

Vários fatores promovem o desenvolvimento da IA generativa:

  • Capacidade de computação
  • Disponibilidade de conjuntos de dados
  • Interesses competitivos
  • Design dos modelos
Conceitos de IA Generativa

Capacidade de computação permitiu grandes modelos

Gráfico que mostra o crescimento exponencial da capacidade de computação necessária para treinar modelos de IA, de menos de 10^4 operações com pontos flutuantes em 1950 para 10^24 operações com pontos flutuantes em 2022.

 

  • Processamento paralelo e hardware especializado
    • Unidades de processamento gráfico (GPUs)
    • Unidades de processamento tensorial (TPUs)
  • Computação em nuvem
  • Otimização de hardware e software
1 Compute Trends Across Three Eras of Machine Learning, https://arxiv.org/abs/2202.05924
Conceitos de IA Generativa

Modelos melhorados com enormes conjuntos de dados

Crescimento da esfera global de dados Gráfico que mostra o crescimento acelerado da esfera global de dados, de 20 zetabytes em 2015 para 180 zetabytes em 2025.

1 Global DataSphere, IDC, 2021
Conceitos de IA Generativa

Pressões da concorrência incentivaram o desenvolvimento

Comerciais Logotipos de grandes empresas de tecnologia

Políticas Muitas bandeiras internacionais diferentes

Conceitos de IA Generativa

As GANs possibilitaram a geração de alta qualidade

Imagem de um algoritmo generativo desafiando um algoritmo discriminativo a classificar várias imagens confusas de cachorrinhos enrolados parecidos com bagels

Conceitos de IA Generativa

Os transformadores trouxeram contexto e coerência

“it” faz referência a “animal”

Frase “The animal didn't cross the street because it was too tired.” As palavras “it” e “animal” estão em destaque.

“it” faz referência a “street”

Frase “The animal didn't cross the street because it was too wide.” As palavras “it” e “street” estão em destaque.

1 https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
Conceitos de IA Generativa

Os transformadores trouxeram contexto e coerência

 

Transformadores:

  • Entendem o contexto de um determinado texto
  • Analisam as relações entre palavras
  • Geram respostas que parecem naturais e informativas
Conceitos de IA Generativa

O RLHF envolveu o feedback dos usuários

Aprendizado por reforço com feedback humano (RLHF):

  • O aprendizado por reforço treina modelos por tentativa e erro
  • O feedback humano vem dos usuários que avaliam as respostas do modelo

Fluxo de IA generativa com mais um ciclo: resposta ao feedback para o modelo.

Conceitos de IA Generativa

O RLHF envolveu o feedback dos usuários

Captura de tela da interface do usuário do Midjourney com opções para avaliar o resultado de uma imagem.

1 Midjourney
Conceitos de IA Generativa

Vamos praticar!

Conceitos de IA Generativa

Preparing Video For Download...