Análise da qualidade de revisões sistemáticas em engenharia de software empírica

Abstract

Contexto – A engenharia de Software Empírica foca em investigar questões da Engenharia de Software (ES) utilizando métodos experimentais. Estudos empíricos têm se mostrado um importante instrumento para o avanço científico da área de ES. Como exemplo de estudos empíricos utilizados nesta área, podemos destacar: experimento controlado, quasi-experimento, survey, etnografia, pesquisa-ação, estudo de caso e estudos sistemáticos da literatura (Revisão Sistemática e Mapeamento Sistemático). Dessa forma, é salutar a realização de pesquisas objetivando o crescimento e o amadurecimento desses tipos de estudos na área de ES. A Revisão Sistemática da Literatura (RSL) é um tipo de estudo secundário utilizado para buscar de forma abrangente trabalhos primários relacionados com uma questão específica de pesquisa. Com o crescente uso de RSL na ES, torna-se cada vez mais importante a avaliação da qualidade dos trabalhos publicados em diversas conferências ejournals da área. Objetivo - O objetivo deste trabalho é identificar critérios que possam ser utilizados para analisar a qualidade de RSL em ES. De posse de um instrumento de avaliação da qualidade de uma RSL, analisaremos o nível da qualidade das principais pesquisas na área ao longo dos últimos anos das principais conferêncis ejournals. Método - Um processo foi definido para guiar a busca e identificação de critérios de qualidade na literatura. Foram identificados 23 critérios, e os mesmos foram subdivididos em 53 questões. Após definido os critérios, foram selecionados 160 estudos secundários e distribuídos entre 10 duplas de pesquisadores para extrair os dados baseados na lista de critérios de qualidade identificados. Resultados - Dos 160 estudos secundários selecionados inicialmente, 53 foram excluídos por não serem revisões sistemáticas. Os dados dos 107 estudos avaliados mostram que 13% obtiveram a classificação de qualidade "Ruim", 39% "Regular", 34% "Boa", 14% "Muito boa" e nenhum estudo atingiu a classificação de qualidade "Excelente". Conclusões A principal contribuição desta pesquisa é fornecer um instrumento que possa ser utilizado para avaliar RSL em ES, bem como reportar o nível de qualidade das pesquisas publicadas na área ao longo dos últimos anos. Após análise dos dados percebe-se que ainda há muito a ser melhorado em termos de execução de RSL em ES, entretanto está havendo evolução nos últimos anos.