Uma análise avaliativa da otimização de enxame de partículas para aprendizagem por reforço em tarefa de pêndulo
Resumo
A aplicação de algoritmos de inteligência de enxame ao aprendizado por reforço de redes neurais é prática porque eles não dependem de gradientes. A otimização por enxame de partículas (PSO) é um representante dos algoritmos de enxame. Neste artigo, o autor avalia experimentalmente a eficácia do PSO na aprendizagem por reforço de perceptrons multicamadas (MLPs), utilizando uma tarefa de controle de pêndulo. Resultados experimentais demonstraram o sucesso do treinamento de um MLP com 8 unidades ocultas, possibilitando a rápida verticalização do pêndulo. Notavelmente, descobriu-se que aumentar o tamanho da população, em vez do número de iterações, permitiu ao PSO descobrir melhores soluções. No PSO, aumentar o tamanho da população promove a exploração global nas fases iniciais, enquanto aumentar o número de iterações aumenta a exploração local nas fases posteriores. Com base nos resultados desta experiência, é evidente que nesta tarefa de aprendizagem, a exploração global na fase inicial é mais importante.
Downloads
Referências
R. C. Eberhart, Y. Shi, and J. Kennedy, Swarm Intelligence, Morgan Kaufmann, 2001.
E. Bonabeau, M. Dorigo, and G. Theraulaz, Swarm Intelligence: From Natural to Artificial Systems, Oxford Academic, 2020.
C.J.C.H. Watkins, and P. Dayan, “Q-learning,” Machine Learning, vol. 8, no. 3, pp. 279-292, 1992.
R.S. Sutton, and A.G. Barto, Reinforcement Learning: An Introduction (2nd ed.), MIT Press, 2018.
J. Kennedy, and R. Eberhart, “Particle swarm optimization,” IEEE Int. Conf. on Neural Networks, vol. iv, pp. 1942-1948, 1995.
P. Riccardo, J. Kennedy, and T. Blackwell, “Particle swarm optimization: an overview,” Swarm Intelligence, vol. 1, pp. 33-57, 2007.
M. Dorigo, and T. Stützle, Ant Colony Optimization, MIT Press, 2004.
M. Dorigo, M. Birattari, and T. Stützle, “Ant colony optimization,” IEEE Computational Intelligence Magazine, vol. 1, no. 4, pp. 28-39, 2006.
D. Karaboga, and B. Basturk, “Artificial bee colony (ABC) optimization algorithm for solving constrained optimization problems,” Advances in Soft Computing: Foundations of Fuzzy Logic and Soft Computing, LNCS, vol. 4529, pp. 789-798, Springer, 2007.
D. Karaboga, B. Gorkemli, C. Ozturk, and N. Karaboga, “A comprehensive survey: artificial bee colony (ABC) algorithm and applications,” Artificial Intelligence Review, vol. 42, pp. 21–57, 2014.
P. K. Sankar, and S. Mitra, “Multilayer perceptron, fuzzy sets, and classification,” IEEE Trans. on Neural Networks, vol. 3, no. 5, pp. 683-697, 1992.
Copyright (c) 2023 ITEGAM-JETIA
This work is licensed under a Creative Commons Attribution 4.0 International License.
