Recentes avanços em inteligências artificiais generativas demonstram suas aplicações em diversas áreas, incluindo a jogabilidade. Pesquisadores da Universidade da Califórnia em San Diego desenvolveram um método para avaliar o desempenho de IAs em um ambiente de jogo semelhante a Super Mario Bros.
A análise concentra-se em uma versão modificada do jogo, executada em um emulador e integrada ao GamingAgent, um framework criado pelos pesquisadores. Essa plataforma permite que grandes modelos de linguagem (LLMs) controlem o personagem Mario e evitem obstáculos durante a gameplay.
No GamingAgent, as IAs são treinadas para compreender elementos do jogo, como buracos, túneis e inimigos, além de executar os comandos necessários para interagir com o ambiente. Com base nessas informações, os modelos geram código em Python para controlar Mario e avançar nas fases.
À medida que enfrentam os desafios, as IAs elaboram estratégias focadas na otimização da progressão, tornando suas ações mais eficazes.
Desempenho das IAs em Mario
Embora a IA racional o1, da OpenAI, tenha mostrado robustez em benchmarks clássicos, sua performance foi inferior em testes práticos realizados pelo Hao AI Lab, onde foi superada por modelos mais simples, como o Gemini 1.5 Pro, do Google, e o Claude 3.5, da Anthropic.
Os pesquisadores destacam que o o1 não possui a agilidade necessária para títulos em tempo real. Seu tempo de processamento e geração de respostas se mostra vantajoso em tarefas como programação e respostas a perguntas, mas é inadequado para jogos de ação que exigem tomadas de decisão rápidas.
Uma limitação similar foi observada no modelo GPT-4.5, cuja alta latência impactou negativamente sua jogabilidade, resultando em falhas em interações simples, como evitar inimigos. Em contrapartida, o Gemini 2 Flash demonstrou desempenho significativamente superior.
De acordo com informações compartilhadas no X, o Claude 3.7, recentemente lançado, superou o Claude 3.5 e o Gemini 1.5 Pro. O vídeo anexo exibe a IA superando os concorrentes durante a gameplay.
A presença de IAs em Pokémon
Além de Super Mario Bros., foram realizados testes com modelos de IA em Pokémon Red, jogo lançado em 1996. O Claude 3.7 Sonnet foi desafiado em tempo real, com transmissões ao vivo na plataforma Twitch desde o final de fevereiro.
Diferentemente do estudo do Hao AI Lab, essa IA utiliza botões virtuais para jogar Pokémon. O modelo captura imagens da tela, avalia a situação, determina a ação seguinte e emite comandos de forma lenta, conseguindo, ainda assim, conquistar pelo menos três insígnias de líderes de ginásio.
Durante o experimento, o raciocínio da IA é exibido, enquanto a gameplay é visível à direita. Entretanto, a progresso é bastante lento, especialmente nas movimentações pelo mapa.
A IAs em ambientes abertos, como Minecraft
Outra investigação envolvendo raciocínio sintético de IAs é o projeto MINDcraft, apresentado no canal Emergent Garden no YouTube. O criador Max Robinson analisa a maneira como modelos generativos adaptados para Minecraft interagem com os sistemas do jogo.
Os vídeos demonstram que comandos mais complexos, quanto mais abstratos forem, maior é a probabilidade da IA se confundir, necessitando reinicialização. O modelo consegue, por exemplo, criar uma picareta de ferro com alguma assistência, mas ao ser desafiado a “sobreviver eternamente” no jogo, realiza ações limitadas, como coletar recursos básicos e falhar ao enfrentar inimigos.
Reflexões sobre o avanço da IA nos games
O uso de inteligência artificial em jogos não é uma novidade, e existe debate sobre se esses testes devem ser um indicativo real de desempenho das IAs. Richard Socher, fundador do buscador com IA You.com, argumenta que o ato de jogar não comprova a inteligência verdadeira de uma IA.
O executivo enfatiza que, diferentemente do mundo real, os jogos possibilitam um treinamento com dados infinitos. Um exemplo é o OpenAI Five, que foi treinada para jogar Dota 2 muito antes da era das IAs generativas, acumulando, ao dia, o equivalente a 180 anos de gameplay.
“Os jogos ajudaram a impulsionar a pesquisa com novas ideias, mas frequentemente as pessoas acreditam que o que é desafiador para humanos também o é para máquinas”, observa Socher. “Uma IA que aprende a jogar xadrez não se torna mais inteligente que os humanos, ela apenas se torna proficientes em xadrez.”
Entretanto, a observação da gameplay de modelos generativos é valiosa, especialmente para entender as limitações da tecnologia, que por vezes é confundida com a inteligência humana.
Informações adicionais sobre inteligência artificial estão disponíveis nas plataformas especializadas em tecnologia.
