Análise da qualidade de experimentos controlados no contexto da engenharia de software empírica

Abstract

Contexto – Considerando o aumento do interesse em pesquisas que conduzem Estudos Empíricos (EE), assim como, do aumento no número de pesquisadores e instituições em todo o mundo que investigam processos experimentais em Engenharia de Software (ES), autores têm criticado a falta de qualidade e padronização dos experimentos quanto aos métodos, procedimentos e forma de divulgar os resultados de EE. Objetivo – Realizar uma análise quantitativa da qualidade dos estudos categorizados como experimentos controlados no contexto da comunidade de Engenharia de Software Empírica (ESE) quanto aos mecanismos de suporte utilizados, replicabilidade e rigor estatístico. Método – Em virtude de não ter encontrado na literatura revisada um padrão de perguntas para avaliar a qualidade de EE em ES, decidiu-se criar uma escala de qualidade baseada, principalmente, em listas de verificação amplamente utilizadas por pesquisadores da área de ES. O método de procedimento utilizado foi a abordagem GQM - Goal Question Metric, composta pelas fases: definição, planejamento, coleta e interpretação. Resultados – Os estudos que mencionaram o uso de mecanismos de suporte tiveram um índice de qualidade igual a 58,54, numa escala que vai de zero a cem pontos, enquanto aos que não usaram, tiveram um índice igual a 51,32. A classificação da variável replicabilidade e rigor estatístico foi respectivamente 63,42 (Boa) e 70,79 (Muito Boa) e, no geral, os resultados mostraram que o índice de qualidade dos estudos foi 57,15, sendo que entre os locais avaliados, houve diferença estatisticamente significativa apenas quando comparamos o Journal (ESEJ) com os outros dois locais pesquisados (EASE e ESEM). Conclusões – Houve evolução significativa na qualidade dos experimentos que relatou o uso de mecanismos de suporte, o que evidencia a importância da aplicação de metodologias de apoio que permitam planejar, executar e analisar resultados de EE em ES. Porém, o índice de qualidade dos estudos não apresentou diferenças estatísticas EUDIS OLIVEIRA TEIXEIRA no período avaliado, o que preocupa, pois não foram identificados avanços significativos na qualidade ao longo dos anos. Vale ressaltar que o instrumento de qualidade desenvolvido está estruturado de tal maneira que possa ser evoluído para avaliar a qualidade de outros tipos de estudos, uma vez que apresenta critérios gerais e outros específicos. Além dos resultados encontrados, espera-se ter contribuído, também, no sentido de prover às outras pesquisas uma compreensão sobre um modelo, processo ou guia que possa dar suporte à avaliação da qualidade de EE e com isso outros pesquisadores conduzam estudos com maior qualidade.