Avaliação de uma pipeline automatizada com LLMS para geração de testes em um sistema financeiro

Abstract

A validação de software constitui uma etapa essencial no desenvolvimento de sistemas, especialmente em domínios críticos como o financeiro, onde falhas podem acarretar prejuízos econômicos significativos e sanções regulatórias. Este trabalho propõe e avalia uma pipeline automatizada baseada em Modelos de Linguagem de Grande Porte (LLMs) para geração de testes em um sistema financeiro simplificado. A metodologia adotada compreende o desenvolvimento de um sistema com funcionalidades básicas, como cadastro de usuários e movimentações financeiras entre indivíduos, instituições ou governos, e a implementação de um fluxo de trabalho capaz de identificar trechos de código, gerar prompts, interagir com modelos de linguagem e validar os testes gerados. Foram avaliados os modelos GPT-4o-mini, Claude Sonnet-4, Qwen2.5-Coder:7b e GPT-4.1 quanto ao tempo de execução, cobertura de código, qualidade dos testes, custo computacional e clareza dos casos gerados. Os resultados indicam que, embora os LLMs apresentem potencial para automatizar a validação com qualidade comparável à de testes manuais, sua eficácia depende de fatores como engenharia de prompts, contexto fornecido e modelo adotado. Uma contribuição importante foi a identificação de testes "dummies" que inflam artificialmente métricas de cobertura sem agregar valor funcional. Dessa forma, conclui-se que a integração de LLMs em pipelines de teste é viável e promissora, desde que acompanhada de estratégias adequadas de controle, validação e auditoria.