Otimização Global em Redes Neurais Artificiais

Abstract

Esta tese apresenta um método de otimização global e local, baseado na integração das heurísticas das técnicas Simulated Annealing, Tabu Search, Algoritmos Genéticos e Backpropagation. O desempenho deste método é investigado na otimização simultânea da topologia e dos valores dos pesos das conexões entre as unidades de processamento de redes neurais artificiais Multi-layer Perceptron, a fim de gerar topologias com poucas conexões e alto desempenho para qualquer conjunto de dados. A heurística proposta realiza a busca de forma construtiva e baseada na poda das conexões entre as unidades de processamento da rede. Assim, são geradas redes com arquitetura variável e que podem ser ajustadas para cada problema de forma automática. Experimentos demonstram que o método pode também ser utilizado para a seleção de atributos relevantes. Durante a otimização da arquitetura da rede, unidades de processamento de entrada podem ser eliminadas de acordo com sua relevância para o desempenho do modelo. Desta forma, é obtida uma seleção de atributos inerente ao processo de otimização das redes neurais artificiais. Os principais parâmetros de configuração do método tiveram sua influência estimada através da técnica de planejamento fatorial de experimentos. Com base no planejamento fatorial de experimentos, foi possível verificar a influência, interação e a inter-relação entre os parâmetros de configuração do modelo. Estas análises são importantes para identificar a influência de cada parâmetro e possivelmente diminuir a quantidade de parâmetros ajustáveis no projeto deste método. Nesta tese são realizados experimentos com cinco diferentes bases de dados de classificação e duas bases de dados de previsão. A técnica proposta apresentou resultados estatisticamente relevantes em comparação com outras técnicas de otimização global e local