Engenharia de contexto aplicada em SLMs para geração de código

Abstract

A presença de Large Language Models (LLMs) no desenvolvimento de software impulsionou a produtividade na geração de código, porém o predomínio de soluções proprietárias impõe riscos críticos à segurança da informação e à soberania tecnológica. Os Small Language Models (SLMs) emergem como uma alternativa segura para execução local, contudo, sua viabilidade é limitada pela lacuna de capacidade cognitiva. Este trabalho analisa a eficácia da Engenharia de Contexto como mecanismo para mitigar essa deficiência, investigando se arquiteturas de orquestração podem elevar o desempenho de modelos compactos. A pesquisa avalia o impacto de técnicas de engenharia de prompt e sistemas multi-agentes em diferentes famílias e classes de tamanho de SLMs. Os resultados experimentais demonstram que a aplicação de uma arquitetura permitiu que modelos como o GPT-OSS (20B) superassem LLMs robustos do estado da arte em tarefas de programação competitiva. No entanto, observou-se um paradoxo de sustentabilidade: os modelos que atingiram maior precisão, notadamente aqueles baseados em cadeias de raciocínio longas, apresentaram tempos de inferência excessivos, chegando a superar 20 horas em cenários críticos, o que desafia a premissa de eficiência energética dos SLMs. A análise evidencia ainda uma tensão entre especialização e generalização, onde modelos super-especializados em código, como o Qwen2.5-Coder, sofreram degradação de desempenho ao serem submetidos a instruções de planejamento lógico, perdendo a flexibilidade necessária para a auto-correção. Conclui-se que a a arquitetura proposta é eficaz na faixa intermediária de modelos (3 a 10 bilhões de parâmetros), mas sua escalabilidade depende do equilíbrio entre o treinamento especializado e a capacidade de abstração do modelo.