Rapid review: build verification tests

Abstract

Os testes de verificação de build (BVT), incluindo testes smoke e sanity, são essenciais para garantir a qualidade do software, verificando funcionalidades básicas e evitando falhas críticas que impactam os usuários. No entanto, os desafios e oportunidades nessa área ainda são pouco explorados na literatura. Esse estudo visa realizar uma revisão rápida da literatura sobre BVT com foco nos desafios, motivações e suporte de ferramentas existentes na área. Foi conduzida uma revisão rápida seguindo o protocolo de Cartaxo, Pinto e Soares [1], utilizando as bases ACM Digital Library, IEEE Xplore e SpringerLink, realizando uma síntese narrativa dos resultados obtidos. Iniciando com um conjunto de 1312 estudos e, após aplicação dos critérios de inclusão/exclusão, foram selecionados um conjunto final de 17 estudos primários. Provendo uma avaliação qualitativa acerca de BVT, na perspectiva dos desafios, motivações e suporte de metodologias, frameworks e ferramentas abordadas nos estudos selecionados. Com base na análise dos estudos primários selecionados, foram identificados cinco principais desafios enfrentados pelos testes de verificação de build (BVT): i) falta de estudos/ferramentas para testes de sanidade; ii) tempo de execução em BVT; iii) sistematização e boas práticas em BVT; iv) dificuldade em testar a interface gráfica do usuário (GUI). Apesar de ser um fator de grande importância para BVT, soluções que otimizam o tempo de execução foram o foco de apenas um estudo. Além disso, não há boas práticas difundidas acerca de BVT, deixando o desenvolvimento a cargo da experiência do profissional. Diante dos desafios identificados, há oportunidades no desenvolvimento de ferramentas e na exploração da área por meio de novas tecnologias, como a utilização de modelos de linguagem natural (LLMs).