Modelo Neuro-Fuzzy Hierárquico Politree com aprendizado por reforço para agentes inteligentes

• Published in: Controle & automação : revista da Sociedade Brasileira de Automática 2007-06, Vol.18 (2), p.234-250
• Main Authors: Figueiredo, Karla, Vellasco, Marley, Pacheco, Marco, Souza, Flávio
• Format: Article
• Language: English
• ISSN: 0103-1759; 0103-1759
• DOI: 10.1590/S0103-17592007000200009

Este trabalho apresenta um novo modelo híbrido neuro-fuzzy para aprendizado automático de ações efetuadas por agentes. O objetivo do modelo é dotar um agente de inteligência, tornando-o capaz de, através da interação com o seu ambiente, adquirir e armazenar o conhecimento e raciocinar (inferir uma ação). Este novo modelo, denominado Reinforcement Learning Neuro-Fuzzy Hierárquico Politree (RL-NFHP), descende dos modelos neuro-fuzzy hierárquicos NFHB, os quais utilizam aprendizado supervisionado e particionamento BSP (Binary Space Partitioning) do espaço de entrada. Com o uso desse método hierárquico de particionamento, associado ao Reinforcement Learning, obteve-se uma nova classe de Sistemas Neuro-Fuzzy (SNF) que executam, além do aprendizado da estrutura, o aprendizado autônomo das ações a serem tomadas por um agente. Essas características representam um importante diferencial em relação aos sistemas de aprendizado de agentes inteligentes existentes. O modelo RL-NFHP foi testado em diferentes problemas benchmark e em uma aplicação de robótica (robô Khepera). Os resultados obtidos mostram o potencial do modelo proposto, que dispensa informações preliminares como número e formato das regras, e número de partições que o espaço de entrada deve possuir. This work presents a new hybrid neuro-fuzzy model for the automatic learning of actions taken by agents. The objective of this model is to provide intelligence for an agent, making it capable of acquiring and retaining knowledge, as well as thinking (infer an action), by interacting with its environment. This new model, named Reinforcement Learning Hierarchical Neuro-Fuzzy Politree (RL-NFHP), descend from the hierarchical BSP neuro-fuzzy models, which employ supervised learning and BSP partitioning (Binary Space Partitioning) of the input space. By using this hierarchical partitioning method, together with the Reinforcement Learning methodology, a new class of Neuro-Fuzzy Systems (SNF) was obtained, which automatically learns its structure as well as the actions that must be taken by an agent. These characteristics represent an important differential when compared to existing intelligent agents learning systems. The RL-NFHP model was tested in different benchmark problems, as well as in a robotic application (Khepera robot). The results obtained demonstrate the potential of the proposed model, which does without information as number of rules, rules' format and number of partitions that the input space should h