Validação de critérios de aceitação usando LLM: uma análise baseada em Guidelines de UX

Abstract

[Contexto] A crescente complexidade dos projetos digitais têm motivado o uso de recursos autônomos baseados em Inteligência Artificial Generativa para apoiar equipes de tecnologia, sobretudo em atividades de Engenharia de Requisitos. [Problema] Nesse contexto, os aspectos de Experiência do Usuário (UX) permanecem como uma dimensão crítica e ainda pouco explorada na documentação ágil de requisitos, especialmente na redação de Acceptance Criteria (AC). [Método] Essa pesquisa investiga se Large Language Models (LLMs) podem apoiar a revisão de ACs com base em diretrizes de UX e, assim, contribuir para a validação de requisitos por meio de tutoria automatizada. Para isso, foi conduzido um estudo empírico em duas fases: exploratória, composta por survey com 31 profissionais de TI sobre a influência de Definition of Ready (DoR) em requisitos endereçados a UX, que serviu de inspiração para, além de uma análise de conteúdo de 20 ACs escritos no formato Behavior-Driven Development (BDD) por alunos de graduação e analisados por um avaliador humano, elaborar a fase seguinte, uma análise comparativa entre dois LLMs, ChatGPT-4o e Gemini 2.5 Flash, configurados por meio de um modelo de prompting instrucional denominado ACUX Tutor 1.0. As respostas geradas pelos LLMs foram avaliadas por Concordância (alinhamento com o avaliador humano), Precisão Técnica (recomendações de guidelines de UX tecnicamente corretas e aplicáveis ao contexto do AC) e Explicabilidade (clareza e fundamentação das justificativas sobre a guideline recomendada). [Resultados] Ambos os LLMs foram capazes de identificar oportunidades de aprimoramento de UX nos trechos dos ACs, com padrões distintos de comportamento. O ChatGPT-4o apresentou maior precisão técnica (89,29%), alinhamento pontual às avaliações humanas, e aderência às restrições do prompt, enquanto o Gemini 2.5 Flash destacou-se pela explicabilidade (78,95%) e concordância com o avaliador humano (58,60%), demonstrando amplo repertório semântico sobre elementos de UX, embora, por vezes, extrapolasse recomendações além do contexto imediato dos ACs. [Conclusão] Conclui-se que abordagens baseadas em LLMs, quando orientadas por prompts estruturados e guiadas por diretrizes de domínio, possuem potencial para complementar a análise humana no apoio à validação de requisitos, promovendo especificações mais consistentes, rastreáveis e orientadas à UX. Contudo, não substituem a validação humana. A supervisão sobre as respostas dos LLMs permanece indispensável para garantir a profundidade interpretativa e o julgamento contextual necessários em projetos reais, devendo ser consideradas, portanto, como ferramentas assistivas.