Defesa de dissertação (30/06/2023): Claudio Andre da Silva Alves
Discente: Claudio Andre da Silva Alves
Título: An Adaptive Hybrid Genetic Algorithm for Hyperparameter Optimization
Orientador: Pedro Henrique González Silva
Dia: 30 de junho de 2023
Resumo: O recente aumento na popularidade das aplicações de aprendizado de máquina (AM) levou a um aumento na demanda por modelos de AM eficientes. Uma das principais etapas na construção de tais modelos é selecionar um conjunto adequado de hiperparâmetros. No entanto, com o aumento da complexidade dos modelos e técnicas de treinamento, definir manualmente esses parâmetros tornaram-se uma tarefa trabalhosa, exigindo uma quantidade significativa de tempo e conhecimento específico sobre o modelo que está sendo ajustado. Para enfrentar esse desafio, a comunidade do Automatic Machine Learning (AutoML) está se concentrando em criar maneiras de encontrar automaticamente o melhor conjunto de hiperparâmetros para algoritmos de AM por meio de sua área de pesquisa chamada de Otimização de Hiperparâmetros (HPO). Recentemente, o Hybrid Biased Random Key Algoritmo Genético (HBRKGA), um algoritmo genético que usa funções de otimização substitutas na etapa de exploração, foi usado para encontrar hiperparâmetros automaticamente de forma eficiente para diferentes conjuntos de dados. No entanto, o seu potencial não foi totalmente explorado, pois o HBRKGA usa apenas uma função substituta fixa na etapa de exploração. Esta pesquisa apresenta uma nova abordagem para HPO de modelos de AM baseados no HBRKGA. Um método chamado Adaptive HBRKGA (A-HBRKGA) é desenvolvido para melhorar a probabilidade de encontrar a melhor solução. Este método é baseado no princípio de diferentes passos evolutivos requerem diferentes funções de otimização, o que permite à HBRKGA ter várias funções substitutas que são escolhidos com base em avaliações anteriores. A abordagem foi testada em vários conjuntos de dados disponíveis publicamente e apresentam os melhores resultados quando comparados a outros métodos da literatura.
