Comitê de métodos estatísticos para detecção de mudanças de conceito

Abstract

O notável aumento da quantidade de informação proveniente das tecnologias nos impossibilita de continuar usando os sistemas de aprendizagem tradicionais (batch). Por isso, precisa-se de algoritmos online, que devem ser atualizados constantemente, adaptando-se rapidamente às novas instâncias (dados). Além disto, os dados chegam em grande velocidade (fluxo de dados) e suas distribuições podem mudar com o tempo, gerando um evento chamado de mudança de conceito (Concept drift), o qual degrada o modelo de aprendizagem. A extração de conhecimento (KDD) em fluxos de dados com a presença de mudanças de conceito é uma das tarefas mais desafiadoras nas áreas de mineração de dados e aprendizado de máquina. Muitos algoritmos de aprendizagem de máquina, conhecidos como classificadores base, utilizam o aprendizado indutivo supervisionado e, para melhorar sua acurácia, são usados com detectores de mudanças de conceito, também chamados de métodos adaptativos. O algoritmo de aprendizagem ideal combina a robustez ao ruído com a sensibilidade às mudanças de conceito. Fundamentando-se nas alegações acima colocadas, nesta investigação foi implementado um algoritmo para detecção de mudanças de conceito (ANOVA_C), cujo objetivo constitui prover e demonstrar empiricamente que a metodologia de construção de um detector baseado na combinação de vários testes estatísticos para notificar as mudanças de conceitos é uma boa alternativa para melhorar os resultados. O comitê de métodos estatísticos ANOVA_C utiliza no processo de notificação das mudanças os resultados de três provas estatísticas (ANOVA padrão, Brown_Forysthe, e O’Brien) combinadas mediante dois sistemas de votação: para o estado de alerta (warning) é usado o voto majoritário com a informação fornecida pelos três testes estatísticos e para as mudanças de conceito usa-se a regra "O primeiro que encontra é o primeiro que reporta", usando somente a informação fornecida pelos métodos estatísticos de Brown-Forysthe e O’Brien. A experimentação realizada com os classificadores bases Hoeffding Tree (HT) e Naive Bayes (NB) usando 24 bases de dados artificiais e nove reais demonstraram a eficiência da proposta. No que se refere à avaliação da proposta, ANOVA_C atingiu os melhores valores de acurácia e foi o mais balanceado na análise das detecções de mudanças de conceitos, o que foi confirmado por ser o melhor posicionado na avaliação utilizando a métrica Matthews Correlation Coefficient (MCC).