Uma arquitetura para teste de sistemas de reconhecimento da fala com geração automática de áudios

Abstract

As aplicações que utilizam sistemas de reconhecimento de fala (speech to text - STT) estão em ascendência nos últimos anos. Tal crescimento se deu tanto pela evolução de pesquisas acadêmicas na área, quanto pela facilidade de comunicação via fala. Esses tipos de software têm simplificado a interação entre humanos e máquinas (e.g., sistemas para smartphones, smart home, smart cities, etc.). Tais aplicações possuem uma variedade de usuários (nacionalidades, sotaques e gêneros diferentes) que influenciam diretamente na avaliação da qualidade de tais sistemas. Os usuários são exigentes e as diferenças anteriormente citadas devem ser levadas em consideração no momento de avaliar tais aplicações. Uma das atividades fundamentais na garantia da qualidade em aplicações que utilizam sistemas STT é o teste de SW. Para tal, faz-se necessário a utilização de técnicas que consigam reproduzir as variações da fala humana para a obtenção de resultados mais expressivos e, com isso, evitar o uso de pessoas (fala gravada) devido aos altos custos e disponibilidade. Diante disso, o uso de falas sintéticas para teste de sistemas STT seria uma opção às falas humanas devido ao seu baixo custo e praticidade de obtenção. Dado esse contexto, o presente trabalho propõe uma arquitetura para testes de sistemas STT com áudios sintetizados utilizando quatro abordagens de síntese diferentes. Para a validação do uso de áudios sintéticos como uma alternativa aos gravados, foram realizados experimentos automatizados (aplicados a sistemas de STT em smartphones) e baseados na opinião de pessoas (i.e., teste de Turing e de qualidade). Ambos os experimentos utilizaram um ambiente real de teste de SW nas dependências do projeto CIn-Motorola.