Comparando Grid Search e Random Search
Ajuste de Hiperparâmetros em Python
Alex Scriven
Data Scientist
O que é igual?
Semelhanças entre Random e Grid Search?
- Ambas são formas automatizadas de ajustar hiperparâmetros
- Em ambas você define o grid de amostragem (quais hiperparâmetros e valores)
Lembre-se de planejar bem seu grid!
- Em ambas você define um esquema de validação cruzada e a métrica de avaliação
O que é diferente?
Grid Search:
- Testa exaustivamente todas as combinações no espaço de busca
- Sem metodologia de amostragem
- Mais custoso computacionalmente
- Garante encontrar a melhor pontuação no espaço de busca
Random Search:
- Seleciona aleatoriamente um subconjunto de combinações no espaço de busca (que você deve especificar)
- Pode escolher uma metodologia de amostragem (além da uniforme, padrão)
- Menos custoso computacionalmente
- Não garante achar a melhor pontuação no espaço de busca (mas tende a achar uma boa mais rápido)
Qual devo usar?
Então, qual devo usar? Quais são as considerações?
- Quanto de dado você tem?
- Quantos hiperparâmetros e valores quer ajustar?
- Quantos recursos você tem? (tempo, computação)
- Mais dados sugerem que Random Search pode ser melhor.
- Quanto mais itens, mais Random Search pode ser a melhor opção.
- Com menos recursos, Random Search pode ser melhor.
Vamos praticar!
Ajuste de Hiperparâmetros em Python
