DRL TC classifier : classificação de casos de teste para automação de testes de dispositivos móveis

Abstract

Buscando garantir a qualidade de produtos de software, são realizadas diversas atividades de teste. Contudo, esta é uma tarefa cara e complexa, responsável por aproximadamente 50% do custo de desenvolvimento de um software. A automação de testes surge como uma solução para diminuir o custo e aumentar a eficiência dos processos de teste. Um dos primeiros estágios do processo de automatização de Casos de Testes (CTs) é a identificação da viabilidade dessa automação. Atualmente, essa é uma problemática real da nossa empresa parceira, no ramo de dispositivos móveis, que mantém uma equipe responsável por criar os scripts executáveis para os CTs automatizáveis. A classificação é realizada manualmente por especialistas com conhecimento sobre as funcionalidades dos dispositivos (i.e., que funcionalidades podem ou não ser testadas automaticamente), e sobre o ambiente de desenvolvimento de CTs automáticos. No entanto, especialistas são profissionais “caros”, cujo tempo livre é escasso e o conhecimento adquirido é muito valioso. Nesse contexto, este trabalho teve por objetivo auxiliar no processo de automação de teste, criando um sistema para classificação automática de CTs entre automatizáveis ou não. Além de otimizar essa tarefa, este trabalho também contribuiu para registrar o conhecimento do especialista, que pode ser perdido se o colaborador sair da empresa. O protótipo implementado utiliza conceitos da Classificação de Texto e da Engenharia do Conhecimento baseada em regras e inferência (através da ferramenta Drools). A avaliação do protótipo apresentou resultados muito satisfatórios de valores de acurácia, precisão, sensibilidade e F1 Score, de 84.1%, 80.2%, 90.6% e 85.08%, respectivamente. Além disso, observamos que a classificação realizada de um conjunto de teste com 662 CTs levou apenas alguns minutos, enquanto que a mesma tarefa levaria dias ou semanas para ser realizada manualmente.