Transformers contra algoritmos de ensemble para classificação binária em dados tabulares

Abstract

Este trabalho investiga o desempenho de dois modelos tabulares baseados em Redes Neurais Transformers (TABPFN V2 e STAB) confrontando-os com o método de referência baseado em Gradient Boosting (XGBoost) em tarefas de classificação binária com dados tabulares heterogêneos. Avaliamos os algoritmos com métricas de desempenho na classificação (AUC-ROC e KS) e tempos de otimização, treinamento e inferência em bases de tamanhos diferentes. Os experimentos indicam que XGBoost ainda apresenta maior performance em volumes elevados de dados (mais de 10.000 registros) , com vantagem também no tempo de inferência, enquanto STAB o supera ligeiramente em conjuntos pequenos de dados (até 10.000 registros). O TABPFN V2 destaca-se pela rapidez na fase de ajuste, mas sofre com elevada latência na fase de predição. Os resultados apontam para avanços na abordagem com Transformers para dados tabulares, entretanto, ainda com desvantagem em relação ao modelo XGBoost em problemas de larga escala.