Use este identificador para citar ou linkar para este item:
https://repositorio.ufpe.br/handle/123456789/65738
Compartilhe esta página
Título: | Estudo comparativo do desempenho de LLMs na classificação da origem de erros em pipelines de IDP |
Autor(es): | PEIXINHO, Pedro Henrique Almeida Girão |
Palavras-chave: | Grandes Modelos de Linguagem; Processamento Inteligente de Documentos; Engenharia de prompt; Diagnóstico de erros |
Data do documento: | 4-Ago-2025 |
Citação: | PEIXINHO, Pedro Henrique Almeida Girão. Estudo comparativo do desempenho de LLMs na classificação da origem de erros em pipelines de IDP. 2025. 22 f. TCC (Graduação) - Curso de Engenharia da Computação, Universidade Federal de Pernambuco, Recife, 2025. |
Abstract: | O diagnóstico de erros em sistemas de Processamento Inteligente de Documentos (IDP) é um processo majoritariamente manual, lento e custoso, representando um gargalo para a manutenção e evolução desses sistemas. Este trabalho investiga a automação dessa tarefa através da aplicação de Grandes Modelos de Linguagem (LLMs). Foi conduzido um estudo comparativo entre os modelos GPT-4o, Claude Sonnet 4 e Gemini 2.5 Pro para classificar a origem de falhas em três categorias — Erro de Extração, Erro de Relação e Erro da Aplicação — utilizando uma engenharia de prompts baseada em raciocínio algorítmico. Os resultados demonstram a alta eficácia da abordagem, com o modelo Gemini 2.5 Pro alcançando um F1-Score de 0.94, superando significativamente não apenas os outros LLMs, mas também um baseline heurístico (F1-Score de 0.51). A solução proposta atingiu uma redução de aproximadamente 82% no tempo de análise em comparação com um baseline temporal, validando a metodologia como uma alternativa de alto desempenho e eficiente para otimizar os ciclos de manutenção de sistemas de IDP. |
URI: | https://repositorio.ufpe.br/handle/123456789/65738 |
Aparece nas coleções: | (TCC) - Engenharia da Computação |
Arquivos associados a este item:
Arquivo | Descrição | Tamanho | Formato | |
---|---|---|---|---|
TCC Pedro Henrique Almeida Girão Peixinho.pdf | 451,81 kB | Adobe PDF | Visualizar/Abrir |
Este arquivo é protegido por direitos autorais |
Este item está licenciada sob uma Licença Creative Commons