Avaliação de agentes de inteligência artificial na transcrição e geração de relatórios de hipóteses diagnósticas em saúde mental

Abstract

A aplicação de Modelos de Linguagem de Grande Porte (LLMs) na área da saúde tem demonstrado potencial transformador, embora ainda haja escassez de estudos que validem essas tecnologias com dados reais de consultas psiquiátricas. O presente trabalho teve como objetivo avaliar sistematicamente o desempenho de agentes multimodais de Inteligência Artificial, integrados à técnica de Geração Aumentada por Recuperação (RAG), na transcrição de consultas e na geração de relatórios de hipóteses diagnósticas em saúde mental. A metodologia caracterizou-se como uma pesquisa experimental e avaliativa, utilizando uma base de dados composta por 236 áudios de consultas reais, coletados em centros de referência. A análise seguiu o modelo Goal-Question-Metric (GQM), combinando métricas quantitativas, como a Taxa de Erro de Palavra (WER) e a acurácia diagnóstica, com avaliações qualitativas de utilidade clínica e fidelidade semântica. Os resultados indicaram que a transcrição automática obteve uma WER de 5,95%, com alta preservação do sentido clínico, validando seu uso como ferramenta ao diagnóstico. Quanto ao diagnóstico, o modelo alcançou uma acurácia global de 73,7%, demonstrando desempenho robusto em transtornos afetivos, como a depressão (92,7% de acerto), porém com limitações significativas na identificação de quadros psicóticos complexos, como a esquizofrenia (44,1% de acerto). Conclui-se que a ferramenta é viável e útil para apoio à triagem e estruturação de dados clínicos, especialmente em transtornos de humor, mas exige aprimoramento devido à dificuldade dos modelos atuais em interpretar a desorganização formal do pensamento típica das psicoses.