Skip navigation
Use este identificador para citar ou linkar para este item: https://repositorio.ufpe.br/handle/123456789/65738

Compartilhe esta página

Título: Estudo comparativo do desempenho de LLMs na classificação da origem de erros em pipelines de IDP
Autor(es): PEIXINHO, Pedro Henrique Almeida Girão
Palavras-chave: Grandes Modelos de Linguagem; Processamento Inteligente de Documentos; Engenharia de prompt; Diagnóstico de erros
Data do documento: 4-Ago-2025
Citação: PEIXINHO, Pedro Henrique Almeida Girão. Estudo comparativo do desempenho de LLMs na classificação da origem de erros em pipelines de IDP. 2025. 22 f. TCC (Graduação) - Curso de Engenharia da Computação, Universidade Federal de Pernambuco, Recife, 2025.
Abstract: O diagnóstico de erros em sistemas de Processamento Inteligente de Documentos (IDP) é um processo majoritariamente manual, lento e custoso, representando um gargalo para a manutenção e evolução desses sistemas. Este trabalho investiga a automação dessa tarefa através da aplicação de Grandes Modelos de Linguagem (LLMs). Foi conduzido um estudo comparativo entre os modelos GPT-4o, Claude Sonnet 4 e Gemini 2.5 Pro para classificar a origem de falhas em três categorias — Erro de Extração, Erro de Relação e Erro da Aplicação — utilizando uma engenharia de prompts baseada em raciocínio algorítmico. Os resultados demonstram a alta eficácia da abordagem, com o modelo Gemini 2.5 Pro alcançando um F1-Score de 0.94, superando significativamente não apenas os outros LLMs, mas também um baseline heurístico (F1-Score de 0.51). A solução proposta atingiu uma redução de aproximadamente 82% no tempo de análise em comparação com um baseline temporal, validando a metodologia como uma alternativa de alto desempenho e eficiente para otimizar os ciclos de manutenção de sistemas de IDP.
URI: https://repositorio.ufpe.br/handle/123456789/65738
Aparece nas coleções:(TCC) - Engenharia da Computação

Arquivos associados a este item:
Arquivo Descrição TamanhoFormato 
TCC Pedro Henrique Almeida Girão Peixinho.pdf451,81 kBAdobe PDFVisualizar/Abrir


Este arquivo é protegido por direitos autorais



Este item está licenciada sob uma Licença Creative Commons Creative Commons