Avaliação de LLMs na tradução de linguagem natural para SQL em sistemas de monitoramento de OKRs com dados sintéticos

Abstract

A metodologia de Objectives and Key Results (OKRs) é amplamente adotada por organizações para alinhar objetivos estratégicos, táticos e operacionais, exigindo acompanhamento contínuo, transparência e análise frequente dos dados registrados ao longo dos ciclos. Contudo, em sistemas de monitoramento de OKRs, a extração de informações analíticas relevantes, como correlações, tendências históricas e comparações entre iniciativas, normalmente depende de consultas SQL, o que limita a autonomia de usuários não técnicos e dificulta o uso exploratório dos dados. Neste contexto, este trabalho propõe e avalia um framework para tradução automática de consultas em linguagem natural para SQL aplicado a sistemas de OKRs. A arquitetura integra técnicas de prompt engineering, incluindo few-shot learning, chain-of-thought e schema linking, além de mecanismos de validação sintática e autocorreção de consultas. A avaliação foi conduzida a partir de um conjunto de dados sintéticos modelado para representar cenários realistas de OKRs, contemplando múltiplas entidades, históricos temporais e relações hierárquicas. O desempenho dos modelos foi analisado por meio de métricas sintáticas, semânticas e de execução, com destaque para o Query Affinity Score (QAS), que combina similaridade estrutural e semântica. Adicionalmente, foram aplicadas técnicas de inferência estatística, incluindo intervalos de confiança por bootstrap e testes não paramétricos, para validar diferenças de desempenho entre modelos e estratégias de prompting. Os resultados indicam que grandes modelos de linguagem apresentam desempenho significativamente superior em consultas de maior complexidade, mantendo tempos de resposta compatíveis com cenários interativos. Por fim, são discutidas limitações e direções futuras, incluindo validação com dados reais anonimizados e extensões multilíngues.