The impact of experimentation guides in software engineering: a metanalysis

Abstract

Estudos empíricos são necessários para o desenvolvimento ou otimização de processos, métodos e ferramentas no desenvolvimento e manutenção de software. Para conduzir esse experimentos controlados há vários artigos científicos e livros dedidados a metodologia em engenharia de software experimental que chamaremos de guias de experimentação. Atualmente, há uma falta de consenso para o processo de experimentação. Há uma necessidade de avaliar o processo de experimentação propriamente dito. Além disso, a literatura atual é particularmente preocupante. Há um conhecimento com baixo poder estatístico, pouca validação e replicações, ocasionando deficiências no acúmulo e na transferência de conhecimento para a indústria. Em uma revisão preliminar, identificamos vários estudos que avaliam o domínio da engenharia de software nos aspectos seguintes: Poder estatístico e validação. Assim, decidimos medir o impacto de guias de experimentação em experimentos controlados. Para medir o impacto, 4 conclusões hipotéticas foram definidas em duas estratificações: uma estratificação de validacão, medida em termos do número de ameaças identificadas por cada experimento (H1), número de ações mitigativas tomadas (H2), percentual de mitigação por ameaça para cada estudo (H3); uma estratificação de poder estatístico, medida em termos do poder estatístico propriamente (H4). Para fins de comparação, experimentos controlados foram agrupados considerando os guias de experimentação referenciados ou não. 133 estudos de 2002 a 2014 foram incluídos nessa metanálise. 69 estudos referenciaram um guia de experimentação enquanto que 64 estudos não referenciaram um guia de experimentação. Ao todo, 722 ameaças, 402 ações mitigativas e 266 testes estatísticos foram encontrados. Para a estratificação de validação, todas as conclusões hipotéticas mostraram que há uma diferença entre o grupo de controle e o de intervenção que é estatisticamente significante. Estudos que referenciaram um guia de experimentação tendem a identificar e tratar mais ameaças, além de apresentarem um percentual de mitigação maior que o grupo de controle. Para a estratificação de poder estatístico, diferenças entre os dois grupos foram inexistentes. No entanto, ao comparar estudos que não referenciaram guias com os estudos que referenciaram o guia de Basili et al. a diferença ainda foi estatisticamente significante. Estudos que referenciaram Basili et al. atingiram um poder estatístico maior que os experimentos do grupo de controle.