Defesa de dissertação (23/11/2020): Marcello Alberto Soares Serqueira
Discente: Marcello Alberto Soares Serqueira
Título: HBRKGA: A Population-based Hybrid Approach to Hyperparameter Optimization for Neural Networks
Orientadores: Eduardo Bezerra da Silva (orientador), Pedro Henrique González Silva (co-orientador).
Banca: Eduardo Bezerra da Silva (presidente), Pedro Henrique González Silva (CEFET/RJ), Diego Brandão (CEFET/RJ), Igor Machado Coelho (UFF).
Dia/hora: 23 de Novembro de 2020, às 14h.
Sala remota: https://meet.google.com/xjd-
Resumo: Nos últimos anos, grandes quantidades de dados estão sendo geradas e a necessidade de recursos computacionais continua crescendo. Este cenario levou a um ressurgimento do interesse em redes neurais artificiais. Um dos principais desafios no
treinamento de modelos eficazes de redes neurais e encontrar uma boa combinação de hiperparametros a serem usados. De fato, a escolha de uma abordagem adequada para pesquisar o espaço do hiperparâmetro influencia diretamente a precisão do modelo resultante da rede neural. Abordagens comuns para busca de hiperparâmetros são a Busca em Grade, a Busca Aleatória e Busca por Otimização Bayesiana. Existem também métodos baseados em população, como a CMA-ES. Neste projeto, apresentamos o HBRKGA, uma nova abordagem baseada na população para a optimização de hiperparâmetros. O HBRKGA e uma abordagem híbrida que combina o Algoritmo Genético de Chaves Aleatórias Viciadas com uma técnica de Random-Walk para pesquisar o espaço de hiperparâmetros de forma eficiente. Foram realizados vários experimentos computacionais em oito conjuntos de dados diferentes para avaliar a eficácia da abordagem proposta. Os resultados mostraram que o HBRKGA conseguiu encontrar configurações de hiperparâmetros que superaram (em termos de qualidade preditiva) os métodos de base em seis dos oito conjuntos de dados, mostrando tambem tempo de execução razoável.
