Uma análise comparativa de métodos de avaliação de modelos de linguagem na língua portuguesa

Abstract

Os avanços na área de processamento de linguagem natural permitiram o surgimento de modelos de linguagem mais eficientes e capazes de atingir o estado da arte dentro dessa área. Porém, esses avanços representam quase que exclusivamente modelos que utilizam o inglês como sua língua principal. Em relação a outras línguas, como o português, esses avanços não seguem o mesmo ritmo. O seguinte trabalho busca realizar uma análise comparativa de métodos de modelos de linguagem capazes de utilizar a língua portuguesa, e para isso foram utilizados dois modelos, o BERT (do inglês, Bidirectional Encoder Representation from Transformers) e o BERTimbau, modelo baseado no BERT treinado para o português. A avaliação dos modelos foi feita utilizando a base de dados ASSIN 2. Os resultados mostraram que o BERTimbau atingiu uma melhor performance nas tarefas de similaridade semântica, com uma correlação de Pearson de 0,8433, e inferência textual com um F1-score de 0,886.