Fundamentos de aprendizado por reforço

Reinforcement Learning com Gymnasium em Python

Fouad Trad

Machine Learning Engineer

Aprendizado por reforço

 

  • Agente aprende por tentativa e erro

 

Imagem mostrando dois ícones, um para o agente e outro para o ambiente.

Reinforcement Learning com Gymnasium em Python

Aprendizado por reforço

 

  • Agente aprende por tentativa e erro

 

Imagem mostrando que observações são dadas do ambiente ao agente.

Reinforcement Learning com Gymnasium em Python

Aprendizado por reforço

 

  • Agente aprende por tentativa e erro

 

Imagem mostrando que o ambiente fornece observações ao agente, e então o agente executa ações de acordo.

Reinforcement Learning com Gymnasium em Python

Aprendizado por reforço

 

  • Agente aprende por tentativa e erro
  • Agente recebe:
    • Recompensas por boas decisões
    • Penalidades por decisões ruins
  • Objetivo: maximizar o retorno positivo ao longo do tempo

 

Imagem mostrando que o ambiente fornece observações ao agente, então o agente executa ações e recebe recompensas ou penalidades com base nessas ações.

Reinforcement Learning com Gymnasium em Python

RL como treinar um pet

Imagem mostrando um senhor (o ambiente) treinando um pet (o agente).

Reinforcement Learning com Gymnasium em Python

RL vs. outros tipos de ML

A imagem mostra uma tabela com o título "Supervised Learning", indicando que o tipo de dado é rotulado, o objetivo é prever resultados a partir de entradas, e é adequado para classificação e regressão.

Reinforcement Learning com Gymnasium em Python

RL vs. outros tipos de ML

A imagem mostra uma tabela comparando Supervised Learning e Unsupervised Learning. Em Supervised Learning: dados rotulados, objetivo de prever resultados com base nas entradas, adequado para classificação e regressão. Em Unsupervised Learning: dados não rotulados, objetivo de descobrir padrões ou associações, adequado para clustering e análise de associações.

Reinforcement Learning com Gymnasium em Python

RL vs. outros tipos de ML

A imagem mostra uma tabela que inclui RL junto com Supervised e Unsupervised Learning. Supervised Learning usa dados rotulados para prever resultados (classificação e regressão). Unsupervised Learning usa dados não rotulados para descobrir padrões ou associações (clustering e análise de associações). RL não exige dados de treino predefinidos e foca em tomar decisões que maximizem recompensas do ambiente, adequado para tarefas de decisão.

Reinforcement Learning com Gymnasium em Python

Quando usar RL?

 

  • Decisão sequencial
    • Decisões influenciam observações futuras
  • Aprendizado por recompensas e penalidades
    • Sem supervisão direta

Ícone de um robô

Reinforcement Learning com Gymnasium em Python

Adequado para RL: jogar videogames

  • Jogador toma decisões sequenciais
  • Ganha pontos e perde vidas conforme as ações

Imagem mostrando uma cena de videogame onde o agente toma uma decisão.

Reinforcement Learning com Gymnasium em Python

Inadequado para RL: reconhecimento de objetos no jogo

  • Sem decisão sequencial
  • Sem interação com um ambiente

Imagem mostrando um frame de videogame onde a tarefa é reconhecer diferentes tipos de pokémons.

Reinforcement Learning com Gymnasium em Python

Aplicações de RL

Robótica
  • Caminhada de robô
  • Manipulação de objetos

Imagem mostrando a mão de um robô.

Reinforcement Learning com Gymnasium em Python

Aplicações de RL

Robótica
  • Caminhada de robô
  • Manipulação de objetos

Imagem mostrando a mão de um robô.

Finanças
  • Otimizar negociação e investimento
  • Maximizar lucro

Imagem mostrando muito dinheiro voando de uma mala aberta sobre um fundo azul, sugerindo sucesso financeiro.

Reinforcement Learning com Gymnasium em Python

Aplicações de RL

Veículos autônomos
  • Mais segurança e eficiência
  • Menos risco de acidentes

Imagem mostrando vários veículos autônomos na estrada.

Reinforcement Learning com Gymnasium em Python

Aplicações de RL

Veículos autônomos
  • Mais segurança e eficiência
  • Menos risco de acidentes

Imagem mostrando vários veículos autônomos na estrada.

Desenvolvimento de chatbots
  • Melhorar habilidades de conversa
  • Melhorar a experiência do usuário

Imagem mostrando um chatbot conversacional.

Reinforcement Learning com Gymnasium em Python

O que vem a seguir?

Neste curso, vamos:

  • Entender bases e princípios de RL
  • Identificar, formular e resolver problemas de RL
  • Aplicação com Gymnasium

Imagem do logo do Gymnasium.

Reinforcement Learning com Gymnasium em Python

Vamos praticar!

Reinforcement Learning com Gymnasium em Python

Preparing Video For Download...