FREVoz: um framework para automação de testes de voz

Abstract

Teste de software é uma das atividades desempenhadas durante o ciclo de desenvolvimento de um software. Ele é o principal responsável por garantir a qualidade do produto sob desenvolvimento. Essa atividade está presente nos diversos tipos de produtos de software desenvolvidos, desde aplicações desenvolvidas em plataformas para desktop, web e dispositivos móveis. A tecnologia presente nos dispositivos móveis tem facilitado cada vez mais a vida do usuário final enquanto as possibilidades de interação tem se tornado mais natural através de novos tipos de interfaces de interação por gestos e voz. As interações mais tradicionais como o toque na tela não são mais consideradas desafiadoras, uma vez que são amplamente suportadas pelos frameworks de automação de teste disponíveis no mercado, diferentemente das interações através da voz humana, que não possuem ferramentas com tal suporte. Diante desse cenário, esse tipo de teste acaba sendo executado de forma manual, onde o testador precisa interagir diretamente com o dispositivo através da voz, ou então manipular em tempo real ferramentas que possibilitem a execução de arquivos de áudio com gravações dos comandos de voz. O trabalho proposto, FREVoz – Um Framework para Automação de Testes de Voz, adiciona uma nova camada de comunicação ao framework FREVO, estendendo-o e permitindo-o o desenvolvimento de casos de teste com suporte a manipulação de áudios. Através dessa extensão, o desenvolvedor de testes automáticos consegue desenvolver e executar casos de teste de voz de maneira automática. FREVoz apresenta-se como uma alternativa viável para o desenvolvimento de scripts de automação de testes baseado em UI Automator, apesar de ser possível aplicar seus conceitos para outros tipos de tecnologias de automação de testes. Um estudo de caso foi realizado através da automação de uma suíte de testes de voz com o objetivo de comparar o tempo total gasto na execução através das duas abordagens, manual e automática. Também foi realizado um experimento com 3.840 execuções de casos de teste, possibilitando exercitar a aplicação de reconhecimento de voz disponível nos dispositivos móveis na plataforma Android, o Google Voice Search, para 16 comandos válidos contendo 3 variações de áudios com qualidade e entonação diferentes. Cada uma dessas variações foi executada 10 vezes em 8 idiomas suportados, com o propósito de avaliarmos o comportamento da aplicação Google Voice Search perante o reconhecimento desses comandos, bem como realizarmos uma avaliação da qualidade dos recursos de áudio utilizados. Neste experimento, simulamos alguns dos testes de voz realizados dentro do contexto do convênio entre o Centro de Informática da Universidade Federal de Pernambuco e a Motorola.