Class-test: classificação automática de testes para auxíio à criação de suítes de teste

Abstract

Este trabalho apresenta o Class-Test, uma ferramenta idealizada para auxiliar os profissionais de testes na criação de suítes de testes extensas. Em geral, as suítes de testes devem conter um determinado número de testes de cada tipo (e.g., testes negativos, testes de fronteira, testes de interação, etc), número este fixado pelo engenheiros/designers de testes da empresa. Um dos maiores problemas enfrentados pelos testadores para montar essas suítes é o tempo gasto na categorização manual dos testes pré-selecionados para compor suítes extensas (com 1.000 testes, por exemplo). O Class-Test é uma ferramenta para classificação automática de casos de testes, que visa diminuir o esforço e o tempo gasto no processo de categorização dos testes. A ferramenta foi construída com base em técnicas de Aprendizagem de Máquina, em particular, da área de Categorização de Texto. Três classificadores automáticos foram construídos utilizando-se um corpus composto por 879 casos de testes, com a distribuição de 191 casos de testes do tipo Fronteira (Test Boundary), 338 do tipo Negativo (Test Negative), e 350 do tipo interação (Test Interaction). Cada classificador é especializado em apenas um desses três tipos de teste. Foi necessário criar três classificadores porque alguns casos de teste podem ser associados a mais de uma classe de teste ao mesmo tempo. Foram realizados dois estudos de casos. O primeiro estudo teve como objetivo avaliar, dentre os quatro algoritmos de aprendizagem selecionados, qual apresentava melhor precisão para o corpus em questão. O algoritmo SVM Máquina de Vetores de Suporte apresentou melhor desempenho nesse estudo. O segundo estudo de caso visou comparar a precisão da categorização automática versus a categorização manual, este experimento será mostrado com mais detalhes no capítulo 5. Este trabalho é parte do projeto Test Research Project do CIn/BTC, que está sendo desenvolvido em uma parceria entre o CIn-UFPE e a Motorola. O propósito geral desse projeto é automatizar a geração, seleção e avaliação de casos de teste para aplicações de telefonia móvel