SecBERT: aprimorando a segurança de LLMs em português via detecção de Jailbreak Prompts

Abstract

O crescimento dos Modelos de Linguagem de Grande Escala (LLMs) traz desafios à segurança, sobretudo diante do uso de jailbreak prompts, instruções criadas para burlar salvaguardas. Embora o tema esteja em debate na literatura internacional, há escassez de soluções voltadas à língua portuguesa. Este trabalho propõe o SecBERT, um classifica- dor treinado para detectar jailbreaks em português. Para isso, adaptou-se o WildJailbreak Dataset via tradução automatizada, resultando em 29.432 exemplos rotulados em quatro categorias. Foram conduzidos alguns experimentos com modelos BERT (e.g. BERTim- bau, RoBERTa), testando diferentes estratégias de fine-tuning. Os resultados evidenciam que modelos ajustados ao idioma superam abordagens multilíngues ou generalistas. O SecBERT representa, portanto, um avanço na segurança de LLMs em português.