Um estudo sobre a relação entre test smells e flaky tests

Abstract

Test smells são indicadores de que pode haver problemas com o design ou implementação de um teste. Testes são considerados flaky quando produzem resultados diferentes ao executá-los várias vezes. Isto geralmente é devido a fatores externos, como conectividade de rede ou estado do sistema. Existe uma relação potencial entre test smells e flaky test, pois alguns test smells, como testes que dependem de dados de teste frágeis ou testes que possuem lógica complexa, podem contribuir para um comportamento flaky. O objetivo deste estudo é investigar as alterações que ocorrem no teste após a correção do flaky test e entender o impacto dessa correção na redução de test smells. Este estudo destaca as categorias de smells que sofreram alterações após a correção de flakiness nos testes, apresentando como sua principal contribuição uma análise qualitativa dos testes que sofreram modificações na quantidade de smells. Isso proporcionou uma compreensão mais profunda das causas e soluções para o flakiness, bem como a explicação das razões por trás das variações na detecção de smells e sua correlação com o flakiness.