Avaliação de detecção de anomalias baseado em Teoria de Resposta ao Item e Modelo de Concordância

Abstract

A avaliação de detecções de anomalias ainda permanece sendo uma tarefa complexa. Métricas de avaliação supervisionadas, como o Precision score ou AUC, são frequentemente utilizadas para benchmarking, mas não são aplicáveis em cenários reais não supervisionados, devido à falta de rótulos Ground Truth (GT). Ainda assim, podemos recorrer à métricas não supervisionadas para avaliação de modelos, como por exemplo o Pseudo GT, ou Excess-Mass (EM) e Mass-Volume (MV). Esses critérios de avaliação têm a vantagem de comparar modelos com base nos próprios data points das instâncias, sem a necessidade de dados rotulados (em classes). Contudo, possuem algumas limitações em certos cenários, inclusive quando aplicados à detecção de anomalias. Enquanto isso, a Teoria de Resposta ao Item (do inglês Item Response Theory) (IRT) que por muito tempo, foi inicialmente empregada para avaliar as habilidades latentes de respondentes humanos, a partir de suas respectivas respostas à itens de problemas com diferentes níveis de dificuldade. Porém nos últimos anos, a comunidade científica propôs

soluções que utilizam IRT em aplicações de Inteligência Artificial (do inglês Artificial Intelli- gence) (AI), como em problemas de classificação e avaliação de algoritmos. Inclusive não mais

usando um modelo dicotômico de IRT (apenas para respostas certas ou erradas), mas sim já

utilizando um modelo contínuo de IRT, onde suas respostas são representadas pela probabi- lidade de uma predição correta. Um exemplo de implementação deste modelo contínuo é o

β4-IRT, o qual facilita bastante a aplicação de IRT em AI atualmente. Portanto, neste traba- lho propomos o ODAIRE (Outlier Detection Agreement-based Item REsponses), um workflow

para avaliação geral de modelos de detecção de outliers, o qual assume que os melhores mo- delos sempre concordam sobre quais pares de instâncias devem ser rotulados como anomalias.

Neste workflow, as matrizes de respostas obtidas ao se calcular a concordância entre esses modelos, são usadas para estimar a habilidade dos métodos de detecção e a dificuldade das instâncias, através da aplicação do β4-IRT. Esta inovadora abordagem proposta, representa uma alternativa para avaliar o desempenho dos métodos de detecção de anomalias em cenários não supervisionados, algo não investigado em nenhum trabalho anteriormente na literatura. Somado a isto, também surge uma alternativa para a identificação das regiões num conjunto de dados pontuais, que apresentam diferentes graus de dificuldade ou discriminação.