Fine-tuning de LLMs para geração de código Mojo

Abstract

Esta pesquisa demonstra os processos de fine-tuning e de prompt engineering de modelos de aprendizagem de grande escala (LLMs) para geração de código na linguagem Mojo, desenvolvida pela Modular e lançada em versão inicial em 2023. Serão apresentadas as etapas de coleta e pré-processamento de dados, treinamento dos modelos e suas avaliações e apresentação dos dados gerados a partir dos modelos refinados e de um agente de chat comercial baseado em um modelo de linguagem de larga escala utilizando a estratégia de few-shot learning.