Escala psicométrica na avaliação cognitiva do aprendizado de máquina

Abstract

Os métodos de avaliação cognitiva em humanos são fundamentais na análise de modelos complexos obtidos da Inteligência Artificial (IA). O objetivo desta Tese foi avaliar as dificuldades dos algoritmos de clustering pela Teoria da Resposta ao Item (TRI), como escala psicométrica na formação de agrupamentos. Foram avaliados pela escala cognitiva baseada no Parâmetro de Dificuldade b dos Modelos de Parâmetros Logísticos (PL) da TRI os agrupamentos formados por 38 algoritmos de clustering em 11 datasets, e avaliados os resultados das métricas de Precisão, Sensibilidade e

Especificidade, como referências para os índices externos de Rand, Foulkes- Mallows e Jaccard. Estas avaliações foram realizadas nos acertos e erros na

formação dos agrupamentos correspondentes às classes pré-existentes nos datasets, pelos grupos de algoritmos de clustering baseados em métodos clássicos de agrupamento, em k-means e no método Fuzzy. Estes agrupamentos ocorreram proporcionalmente em condições adversas de desbalanceamento de classes, variações da dimensionalidade, interseção dos elementos nas partições pelo método de votação, decisão para situações críticas e significância das métricas. Os resultados para as atribuições corretas nos níveis de dificuldade e correspondentes às métricas calculadas foram: os algoritmos baseados em Fuzzy obtiveram 99,15% no nível fácil e 84,98% no nível difícil da Precisão, 5,99% no nível muito difícil da Especificidade e 4,19% no nível extremamente difícil; os algoritmos baseados em k-means com 5,07% na Sensibilidade, e para os algoritmos baseados em métodos clássicos de agrupamento houve bons resultados em nível extremamente difícil na Sensibilidade. Estes resultados proporcionaram diversas vantagens em relação à qualidade dos modelos baseados em algoritmos de clustering, informando referências e indicadores de qualidade na formação de agrupamentos em ambientes desfavoráveis, e atribuições dos elementos em agrupamentos que impactam nos resultados das métricas. Conclui-se que o emprego da escala psicométrica durante as atribuições dos agrupamentos em situações adversas, amplia a confiabilidade em sistemas de apoio à decisão, com potencial uso por profissionais em áreas críticas.