Automatização da refatoração Extract Method com DeepSeek R1

Abstract

Este trabalho investiga o uso de Large Language Models (LLMs) para a automatização da refatoração Extract Method. O estudo utiliza modelos da família DeepSeek-R1, especificamente as variantes Qwen 1.5B, Qwen 7B e LLaMa 8B, para sugerir refatorações em projetos open-source Java. Além disso, é analisado o Chain of Thought (CoT) gerado pelos modelos para identificar se os modelos relacionam code smells à necessidade de refatoração.

Para validar a eficácia das refatorações, são realizados testes estatísticos com métricas como Levenshtein Ratio, número de palavras repetidas no CoT e proximidade das sugestões ao baseline. Os resultados indicam que os modelos sugeriram refatorações, em sua maioria, desnecessárias. O Qwen 7B apresentou o CoT mais conciso e menos redundante, mas os CoT não demonstraram uma associação entre code smells e as refatorações sugeridas.

Esse estudo destaca tanto o potencial quanto as limitações dos LLMs na refatoração automática de código. Para trabalhos futuros, é proposto aprimorar os prompts, explorar modelos mais avançados e executar os testes em outros datasets, com outras linguagens de programação, ou com foco nos maus cheiros ou em outras refatorações.