Ensembles dinâmicos para detecção de concept drift em séries temporais

Abstract

Séries temporais são medições realizadas em um intervalo fixo de tempo, que podem ser usadas em diversos tipos de problemas. Elas são estudadas por diversas áreas a fim de compreender as características de sua geração. A área mais específica de previsão de séries temporais busca encontrar padrões dos movimentos em situações que já ocorreram para prever a próxima observação da série. Porém, ao longo do tempo podem acontecer alguns eventos que mudam todo o contexto da série, o concept drift, e o conhecimento armazenado da série pode não refletir mais a distribuição da série após esse evento. Então, quando um modelo de aprendizado de máquina é treinado para realizar previsões e um concept drift acontece, esse modelo passa a ficar defasado e para atualizar o modelo, alguns pontos do novo conceito precisam ser capturados e armazenados, até serem suficientes para um novo treinamento. Durante esse período de coleta de dados os modelos aumentam o erro bruscamente, afetando o desempenho geral do sistema de previsão e dependendo da frequência em que o concept drift aconteça, pode inviabilizar o seu uso. O objetivo desse trabalho é propor um método para previsão de séries temporais na presença de concept drift, minimizando o impacto da redução do desempenho preditivo durante o processo de adaptação ao novo conceito. Para isso foram propostos três métodos que usam o conceito antigo para melhorar o desempenho nessa fase de adaptação. Os métodos usam Particle Swarm Optimization (PSO) para otimização do treinamento de partículas Extreme Learning Machine (ELM), que são usadas na previsão e como sensores para detecção concept drift. O primeiro método usa um ensemble com todas as partículas treinadas. O segundo faz uma combinação, usando o algoritmo guloso, das melhores partículas quando o concept drift é detectado até a sua adaptação. E o terceiro usa a melhor combinação das partículas desde o início e atualiza a combinação depois da detecção de um concept drift. Todos os métodos propostos fazem adaptação para o novo conceito depois de ter dados suficientes para o treinamento. Nos experimentos foram usadas sete séries, sendo elas quatro geradas sinteticamente com concept drift conhecidos e três séries reais de índices do mercado financeiro com concept drift desconhecidos. Os resultados obtidos foram comparados com métodos da literatura e dois métodos propostos conseguiram resultados melhores com significância estatística. Mostrando que, o período de adaptação do método ao novo conceito é relevante no erro geral da previsão e que o treinamento anterior pode ajudar a reduzir esse erro.