SignWriting para reconhecimento de gestos em língua de sinais

Abstract

Oreconhecimento automático de gestos é essencial para promover a comunicação inclusiva, so bretudo junto às comunidades Surdas. Entretanto, persistem desafios significativos em função da diversidade linguística das línguas de sinais e das limitações das abordagens convencio nais, as quais tipicamente exigem grandes conjuntos de dados rotulados e apresentam baixo potencial de generalização entre diferentes idiomas, comprometendo a escalabilidade e aplica bilidade prática. Neste contexto, este trabalho propõe a utilização do SignWriting, um sistema padronizado de notação visual que codifica gestos de forma independente do idioma, como alternativa para um reconhecimento universal de gestos estáticos das mãos. A metodologia emprega o MediaPipe para extração automática de marcos anatômicos das mãos, seguida de técnicas de normalização espacial e aumento sintético de dados a fim de mitigar variabilidades individuais e ambientais. O modelo foi avaliado em 16 conjuntos de dados distintos, abran gendo 132 classes de gestos provenientes de múltiplas regiões e línguas de sinais. Os resultados obtidos indicam robustez na generalização entre línguas, corroborando o potencial do Sign Writing como ferramenta unificadora. Adicionalmente, análises de sensibilidade evidenciaram a influência dos erros de detecção de marcos sobre o desempenho do classificador, apontando direções para futuras melhorias. Todo o código-fonte encontra-se disponível no repositório público: <https://github.com/karo-txs/signwriting-recognition>.