Balanceamento dinâmico de jogos: uma abordagem baseada em aprendizagem por reforço

Abstract

A capacidade de entretenimento de jogos digitais depende de vários fatores, como qualidade gráfica, enredo e jogabilidade. Um dos elementos que afetam a jogabilidade é o nível de desafio enfrentado pelo usuário, que é determinado pelo balanceamento do jogo. Balancear consiste em proporcionar níveis adequados de desafios, evitando os extremos de entediar o jogador com tarefas triviais ou frustrá-lo com tarefas intransponíveis. Jogos possuem uma grande diversidade de usuários, em termos de habilidades e experiências, e cada um evolui em um ritmo distinto. Dessa forma, a dificuldade sentida por cada jogador é influenciada por suas características individuais. A adaptação dos desafios ao perfil de cada um é realizada através do balanceamento dinâmico, que automaticamente avalia cada usuário e propõe desafios adequados a suas habilidades. Este trabalho apresenta um método original de balanceamento dinâmico de jogos baseado em aprendizagem por reforço. A abordagem consiste em dividir o problema em duas dimensões: competência (o conhecimento) e desempenho (a utilização prática do conhecimento). Para a aquisição de competência, são criados agentes inteligentes capazes de descobrir, por meio de aprendizagem por reforço, diferentes estratégias de comportamento. Para adaptar o desempenho, é definida uma política de atuação que escolhe, dentre as estratégias aprendidas, aquela mais adequada a cada usuário. O método proposto e outras abordagens encontradas na literatura são implementados, testados e comparados em um jogo de luta. Os experimentos realizados através de simulações com outros agentes indicam que o método proposto consegue, com sucesso, adaptar-se a oponentes com diferentes perfis. Complementarmente, são realizados testes com jogadores reais, para os quais é definido um método de avaliação de balanceamento de jogos baseado em técnicas de usabilidade. Os resultados obtidos indicam as vantagens e limitações de cada abordagem e fornecem indícios de que um balanceamento adequado efetivamente melhora o entretenimento