Contribuições da inteligência artificial generativa para a avaliação de usabilidade: a criação de prompts avaliativos

Abstract

No cenário digital, a boa usabilidade de sistemas, sites e aplicativos é um diferencial relevante e que contribui para a satisfação dos usuários. Uma das formas de avaliar a usabilidade é por meio das Heurísticas de Nielsen que são verificadas, em geral, por um especialista, de forma manual. Neste contexto, esta pesquisa teve como objetivo analisar de que maneira a Inteligência Artificial Generativa pode apoiar a avaliação de usabilidade em interfaces digitais, utilizando como referência as Heurísticas de Nielsen. Para isso, adotou-se uma abordagem quali-quantitativa, descritiva e exploratória, apoiada por procedimentos bibliográficos e documentais, além de uma etapa empírica que envolveu a construção de um prompt avaliativo baseado no framework de Greg Brockman e sua aplicação em três ferramentas de Inteligência Artificial generativa (ChatGPT, Copilot e Gemini). Os resultados mostraram que as Inteligências Artificiais generativas são capazes de identificar problemas de usabilidade, embora com níveis distintos de abrangência, completude e precisão. O ChatGPT apresentou maior profundidade técnica e maior proximidade em relação à avaliação humana. Ele evitou generalizações excessivas e apresentou um mapeamento mais fiel dos problemas presentes na página inicial do repositório, organizando os achados de forma coerente e apresentando justificativas claras para cada classificação, inclusive reconhecendo as limitações do próprio método adotado. O Gemini demonstrou desempenho intermediário, com foco em aspectos visuais, porém sua precisão diminui quando a heurística demanda compreensão de processos cognitivos ou que envolvam dinâmica de interação. Cabe ressaltar que, houve heurísticas que o Gemini não conseguiu verificar se foram atendidas ou não. O Copilot revelou limitações analíticas, menor uniformidade na aplicação das heurísticas, com tendência a formulações genéricas, cometendo equívocos na avaliação de algumas heurísticas. Além disso, observou-se uma atribuição arbitrária de graus de severidade aos problemas identificados. Conclui-se que a Inteligência Artificial generativa tem potencial para atuar como ferramenta auxiliar de pré-diagnóstico na avaliação heurística, desde que se tenha muita atenção à completude e corretude do prompt avaliativo e sua aplicação seja supervisionada por especialistas, contribuindo para o aprimoramento das interfaces e a promoção de ambientes digitais mais fáceis de utilizar e eficazes.