Experiências com variações prequential para avaliação da aprendizagem em fluxo de dados

Abstract

Fluxo de dados (Data Stream) é uma sequência ordenada de instâncias que chegam a uma velocidade que não permite que sejam armazenadas permanentemente na memória. Tais dados são potencialmente ilimitados no tamanho, tornando-os impossíveis de serem processados pela maioria das abordagens tradicionais de mineração de dados. Estes acontecimentos impõem novas exigências aos algoritmos de aprendizagem devido às especificidades dos ambientes dinâmicos. A maioria deles aprende modelos de decisão que evoluem continuamente ao longo do tempo, tornando evidente que a não estacionaridade dificulta o processo de aprendizagem, onde ocorrem mudanças na distribuição de probabilidade dos dados – Mudança de Conceito (Concept Drift). Uma questão importante, ainda não convenientemente abordada, é o projeto de trabalho experimental para avaliar e comparar modelos de decisão que evoluem ao longo do tempo. A metodologia Prequential é uma abordagem utilizada para a avaliação de desempenho de classificadores em fluxos de dados com distribuições estacionárias e não estacionárias. Ela é baseada na premissa de que o objetivo da inferência estatística é fazer previsões de probabilidade sequencial para observações futuras, em vez de expressar informações sobre a acurácia passada alcançada. Este trabalho realiza uma avaliação empírica da metodologia abordada considerando as três estratégias utilizadas para atualizar o modelo de predição, a saber Basic Window (Janela Básica), Sliding Window (Janela Deslizante), e Fading Factors (Fator de Desvanecimento). Especificamente, procura-se identificar qual das variações é a mais adequada para a avaliação experimental dos resultados em cenários onde acontecem mudanças de conceitos, com maior interesse nas observações passadas dentro do fluxo total de dados. As métricas adotadas para a avaliação são acurácia Prequential dos enfoques e a acurácia real obtida no processo de aprendizagem de cada fluxo de dados. Os resultados dos experimentos realizados sugerem que a utilização de Prequential na variação Sliding Window seja a melhor alternativa.