Estudo comparativo do desempenho de LLMs na classificação da origem de erros em pipelines de IDP

Abstract

O diagnóstico de erros em sistemas de Processamento Inteligente de Documentos (IDP) é um processo majoritariamente manual, lento e custoso, representando um gargalo para a manutenção e evolução desses sistemas. Este trabalho investiga a automação dessa tarefa através da aplicação de Grandes Modelos de Linguagem (LLMs). Foi conduzido um estudo comparativo entre os modelos GPT-4o, Claude Sonnet 4 e Gemini 2.5 Pro para classificar a origem de falhas em três categorias — Erro de Extração, Erro de Relação e Erro da Aplicação — utilizando uma engenharia de prompts baseada em raciocínio algorítmico. Os resultados demonstram a alta eficácia da abordagem, com o modelo Gemini 2.5 Pro alcançando um F1-Score de 0.94, superando significativamente não apenas os outros LLMs, mas também um baseline heurístico (F1-Score de 0.51). A solução proposta atingiu uma redução de aproximadamente 82% no tempo de análise em comparação com um baseline temporal, validando a metodologia como uma alternativa de alto desempenho e eficiente para otimizar os ciclos de manutenção de sistemas de IDP.