Un análisis evaluativo de la optimización del enjambre de partículas para el aprendizaje por refuerzo en tareas de péndulo

Resumen

Aplicar algoritmos de inteligencia de enjambre al aprendizaje por refuerzo de redes neuronales es práctico porque no dependen de gradientes. La optimización de enjambre de partículas (PSO) es un representante de los algoritmos de enjambre. En este artículo, el autor evalúa experimentalmente la efectividad de PSO en el aprendizaje por refuerzo de perceptrones multicapa (MLP), utilizando una tarea de control de péndulo. Los resultados experimentales demostraron el entrenamiento exitoso de un MLP con 8 unidades ocultas, lo que permitió un rápido enderezamiento del péndulo. En particular, se descubrió que aumentar el tamaño de la población en lugar del número de iteraciones permitió a PSO descubrir mejores soluciones. En PSO, aumentar el tamaño de la población promueve la exploración global en las primeras etapas, mientras que aumentar el número de iteraciones mejora la explotación local en las etapas posteriores. Según los resultados de este experimento, es evidente que en esta tarea de aprendizaje, la exploración global en la etapa inicial es más importante.