Generating test-based domain models via large language models

Abstract

A inteligência artificial generativa, particularmente os Modelos de Linguagem de Grande Escala (LLMs), revolucionou várias etapas do ciclo de vida do software, como elicitação de requisitos, geração de código, especificação formal e criação de modelos. Na modelagem de software, os modelos de domínio são representações abstratas de conceitos, entidades e relações dentro de um domínio específico, servindo como guia para soluções e design de software. Considerada uma parte crítica do desenvolvimento de software, essa tarefa exige especialistas com conhecimento no domínio e recursos significativos de tempo, já que geralmente é uma tarefa manual que demanda considerável esforço. Este trabalho propõe uma abordagem sistemática para gerar modelos de domínio para a atividade de testes de software (modelos de domínio baseados em testes) a partir de casos de teste em linguagem natural usando o Gemini. Incorporamos um conjunto de regras com um solucionador ASP para garantir consistência estrutural e aplicamos o SBERT para validar os aspectos semânticos dos modelos gerados. Comparamos técnicas de engenharia de prompts e avaliamos o desempenho do Gemini na geração de modelos de domínio com e sem ciclos de interação de feedback, e sob a orientação de modelos de domínio de referência. Os resultados indicam que a eficácia do Gemini na produção de modelos de domínio consistentes é influenciada pela complexidade do domínio e pelo feedback, alcançando 80-90% de satisfatibilidade em domínios mais simples, com o feedback melhorando significativamente a qualidade do modelo. No entanto, a análise mostra que, independentemente da abordagem, a LLM ainda enfrenta limitações na inferência de associações, como dependência, instanciação e cancelamento.